Driftsproblemer i påsken 2011 - oppfølging
Brev
Publisert: 15. juni 2011
Sist endret: 26. september 2016
Haavard Martinsens vei 54
0045 OSLO
15.06.2011
Saksbehandler: Frank Robert Berg
Direkte telefon: 22 93 98 47
Vår referanse:11/4811
Arkivkode: 523.4
Deres referanse: Mette Kamsvåg Grimstad
Det vises til Finanstilsynets brev, datert 29.04.2011, Nets Norway AS' (Nets) svar, datert 13.05.2011og møte med representanter fra Nets. Finanstilsynet har i tillegg mottatt relevant informasjon fra EDB ErgoGroup ASA (EDB) og fra fler enn 55 banker/bankgrupperinger som svar på tilsynets spørsmål knyttet til hendelsene i påsken 2011. Det har også vært gjennomført møter med representanter fra Finansnæringens Fellesorganisasjon (FNO) som forvalter regelverket på BankAxept området.
Finanstilsynet vurderer kortbetalingstjenesten som en kritisk samfunnsfunksjon. En stor del av betalingene ved kjøp av varer i Norge skjer ved bruk av betalingskort. Kortbetalingstjenesten i Norge kjennetegnes av høy tilgjengelighet og få feil.
Årsak til hendelsene
Hovedårsaken til hendelsen var en gjennomført endring hos EDB i november/desember 2010, basert på resultatene fra en beredskapstest som omfattet kapasiteten på systemet IssuerGatewayServer (IGWS). Resultatet av testen viste behov for kapasitetsoppgradering av IGWS-systemet. IGWS-løsningen var etablert som en redundant løsning fordi den representerte en kritisk komponent i kortsystemløsningen til bankene. Primærserveren ble oppgradert etter planen, mens sekundærserveren ikke ble oppgradert grunnet mangel på deler. Dette medførte at systemet ikke hadde reell redundans. Da det oppsto hardware feil på primærserveren i påsken som medførte behov for å ta i bruk sekundærserveren, klarte ikke sekundærserveren å dekke kapasitetsbehovet.
Følgefeil av hendelsene
Kortbetalingstjenesten er kompleks med forgreininger til både nasjonal og internasjonal infrastruktur. Nets ivaretar viktige funksjoner på dette området i Norge. I tillegg ivaretar EDB og andre dataleverandører viktige deler av bankenes IKT-virksomhet som forutsetter et nært samspill mellom aktørene.
Feilen hos EDB resulterte i en rekke følgefeil for bruk av kort i minibank og på brukersteder (EFT/POS i butikker):
- Kort ble avvist i minibanker, i hovedsak grunnet manglende svar på forespørsel om aksept fra minibanksystemet på uttak, som igjen skyldes treghet (time-out) på IGWS-løsningen.
- Kort ble avvist på brukersteder, i hovedsak grunnet manglende svar på forespørsel om aksept av betalingen på brukerstedet, som igjen skyldes treghet (time-out) på IGWS-løsningen.
- Kort (samme betalingstransaksjon) ble forsøkt benyttet igjen med den følge at det enten skjedde oppdatering av kapitaltransaksjon 2 ganger, eller det skjedde generering av generering av advice-melding (grunnlag for oppdatering av disponert beløp til pseudo-systemet (reservasjon av beløp)) 2 ganger.
- Et stort volum advice-meldinger ble pga problemene hos EDB liggende i kø hos Nets. Når det så ble tilgang på kapasitet for oversendelse av advice-meldinger fra Nets til EDB ble også de reservasjoner som advice-meldingene representerte oppdatert hos EDB på transaksjoner hvor kapitaltransaksjonene (EFT-delen) allerede var oppdatert. For bankenes kunder oppfattes dette som dobbelt postering/reduksjon av tilgjengelig saldo.
Problemer på brukersteder og minibanker startet onsdag 20.04.2011, kl 10.00 og varte frem til kl 17.00. Konsekvenser av feilen overfor bankenes kunder og rettelser av følgefeil pågikk i praksis frem til onsdag 27.04.2011.
Et stort antall kunder og transaksjoner ble berørt. Foreløpige estimater viser at ca 140.000 kunder ble direkte berørt og omfattet over 200.000 transaksjoner. Etter Finanstilsynets oppfatning er det ikke akseptabelt at en feil får et slikt omfang. Det er derfor nødvendig at bankene, bankenes samarbeidsorganer og leverandørene iverksetter tiltak for å sikre at en slik feil ikke skal få et slikt skadeomfang.
Hendelsen i påsken viste hvordan svikt i et ledd av kjeden kan forplante seg og gi alvorlige konsekvenser utover det umiddelbare bortfall av tjenesten. Det ble avdekket sårbarheter i kjeden som må reduseres.
Nets håndtering av feilsituasjonen som oppsto
Finanstilsynet er informert om at Nets og EDB hadde flere møter gjennom hele avviksperioden. Ressurser fra begge organisasjoner hadde tett kontakt både telefonisk og pr. e-post, og Nets etablerte ekstra overvåkning av nettverkstrafikk, og overleverte trace- og loggdata til EDB, samt statistikker over responstider og annen informasjon.
Ressursene hos EDB ble i første omgang satt inn på å løse den initiale feilen på den aktuelle IGWS-serveren. IGWS-løsningen er en komponent som inngår i en lengre transaksjonskjede hvor også Nets er tjenesteleverandør. EDB etablerte tidlig et kriseteam, men EDBs kriseteam hadde ikke tilstrekkelig innsikt i tjenesteområdet og alle elementene som inngår i transaksjonskjeden og var dermed ikke i stand til å forstå omfanget av følgefeilene. Feilen som oppsto hos EDB medførte følgefeil som skapte problemer for tilgjengeligheten i bankenes betalingskorttjenester til kundene, via minibanker og brukersteder (EFT/POS-terminaler i butikker).
Nets ivaretar en helt vesentlig rolle for bankene ved innsamling og avregning av korttransaksjoner. Denne oppdelingen av oppgaver i transaksjonskjeden tilsier at det er behov for et bedre planlagt beredskaps- og samarbeidsopplegg ved større hendelser. Det er Finanstilsynets vurdering at Nets hadde tilgjengelig informasjon om akkumulering av advice-meldinger og gjennomføring av kapitaltransaksjoner som burde ha gjort det mulig å begrense følgefeilen som oppsto som en følge av hendelsen.
Det er derfor behov for en samordnet beredskap innenfor dette området bestående av representanter fra bankene og fra andre samarbeidende leverandører. Finanstilsynet ser et behov for at Nets beredskapsorganisasjon utvides til å omfatte banker og berørte leverandører som aktivt kan delta i identifisering av følgefeil, skadebegrensning og gjenoppretting.
Finanstilsynet ber om styrets vurdering av hvilke tiltak som iverksettes for etablering av en slik samordnet beredskap.
Risikoanalyser
Etter Finanstilsynets vurdering er gjennomføring av risikoanalyse et viktig verktøy for å forebygge alvorlige hendelser. Kritiske komponenter som ivaretas hos Nets og samhandlingen med andre, slik som for BankAxept, må inngå i analysen. Tiltak for å redusere identifiserte sårbarheter bør også inngå. Nettopp på bakgrunn av kortbetalingstjenestens viktige betydning, forventes det at det foreligger en risikoanalyse som systematisk kartlegger mulige sårbarheter og tiltak for å sikre robusthet i unntakssituasjoner.
Finanstilsynet ber styret i Nets vurdere om risikoanalysen på kortområdet har tilstrekkelig kvalitet til å forebygge alvorlige hendelser og konsekvensene av disse.
Finanstilsynet ber om Nets’ svar på dette brev innen 31.08.2011.
For Finanstilsynet
Emil Steffensen
konstituert finanstilsynsdirektør
Frank Robert Berg
seksjonssjef