IT/IKT

Serverrommet brenner!

Heldigvis er ikke krisen som pågår hos Nord-Trøndelag fylkeskommunefullt så dramatisk, men det de nå opplever er noe av det mest krevende og slitsomme en IT-avdeling kan oppleve. Alle klienter og størsteparten av tjenerne til NTFK ble slått ut virus sist uke og de er ennå ikke tilbake på føttene igjen.  Informasjon fra fylket legges fortløpende ut på bloggen som er opprettet.

På meg, som bare står utenfor og ser inn, virker det som om fylket har håndtert krisen rimelig bra.  I en slik situajon vil aldri alt gå perfekt, men det  virker det som de har unngått de store fellene det er lett å falle i og håndtert dette på en god måte.

Om organisasjonen har en kriseplan bør denne følges, om ikke så må en bare gjøre det beste ut av det. Et eksempel på noen steg en kan vurdere er:

 

  • Erklær krisetilstand og angi kriseleder og informasjonsansvarlig
  • Informer om krisen (”Noe har skjedd”)
  • Få oversikt – ikke gjør noe forhastet!
  • Informer fortløpende herfra og til krisen er over parallelt med de andre oppgavene
  • Begrens skaden
  • Finn ressurser, fordel roller og ansvar
  • Start en ordning der team arbeider i skift med en gang
  • Prioriter tjenestene
  • Finn løsning og gjenopprett primærtjenester (tjenester kritiske for foretningsprosessene)
  • Gjenopprett sekundærtjenester (tjenester som ikke er kritiske, men påvirker leveransen av foretningsprosessene)
  • Gjenopprett resten av tjenestene
  • Avslutt krisetilstand
  • Evaluer krisen og håndteringen

Erklær krisetilstand og angi kriseleder og informasjonsansvarlig
En krise vil som regel kreve en den ekstraordinære tiltak og ressurser. Dette kan være flytting av ressurser og personer fra et område til et annet, stoppe utførelsen av enkelte tjenester inntil krisen er over, ekstraordinære innkjøp, overtidsgodkjenning osv. Vedtaket om at en nå er i en krisetilstand må derfor tas høyt nok oppe i systemet til at noen kan beslutte gjennomføringen av denne typen tiltak.

Begynn for all del ikke med skyldfordeling og etterpåklokskap på dette stadiet. Vent til etter krisen er over og så kan en rasjonelt finne årsaker til at dette oppsto.

I tillegg må det utnevens en kriseleder og informasjonsansvarlig. Sannsynligvis vil dette være henholdsvis IT-sjefen og Informasjonssjefen i organisasjonen.

Informer om krisen (”Noe har skjedd”)
Informasjonsavdelinga vil ha en viktig rolle i denne situasjonen. Informasjon både internt og eksternt er nødvendig for å komme gjennom dette. Noen vil sannsynligvis prøve å dysse ned hendelsen og/eller holde det hemmelig, men om en har mange nok brukere av tjenestene er det praktisk talt umulig. Gjør informasjon tilgjengelig og forvent at pressen kommer til å ta tak i saken. På dette stadiet bør en ikke begynne med spekulasjoner, optimistiske tidsestimater på når en er oppe igjen og lignende.

Få oversikt – ikke gjør noe forhastet!
Få oversikt over hva som har skjedd og omfanget av skaden. Dessverre er det på dette stadiet en kan prøve seg med raske fikser. Noen ganger vil det kunne gå bra, andre ganger gjør det bare vondt verre.  Ikke overdramatiser situasjonen om det ikke er behov for det. Behold roen. Heldigvis er det ikke så ofte liv og helse står i fare her.

Informer fortløpende herfra og til krisen er over parallelt med de andre oppgavene
Når en har fått oversikt over hva som har skjedd vil informasjonsarbeidet løpe parallelt i hele prosessen til krisen er over. Gi informasjon på det nivået målgruppen trenger. Dette vil sannsynligvis føre til forenklinger og unøyaktigheter i en del tilfeller.

Opprett en fast kanal/kanaler for informasjon så lenge krisen varer og gi statusoppdateringer jevnlig og ved spesielle hendelser i prosessen.

Begrens skaden
Når omfang er kjent kan en begynne å begrense skaden om det er mulig. Av og til må en også ofre enkelte biter for å redde andre. En sammenligning vil kunne være en stor skogbrann der du med vilje brenner ned deler av skogen, eller graver branngater, for å stoppe den større brannen fra å nå viktige områder.

Finn ressurser, fordel roller og ansvar
Samtidig som en begrenser skaden må en få oversikt over de ressursene en har tilgjengelig i denne situasjonen. Forskjellige personer har forskjellig kompetanse og egenskaper som ikke nødvendigvis brukes i hverdagen, men kan være egnet for denne typen situasjoner. Få også oversikt over hvilke matereielle ressurser en har som maskinvare og lignende.

Beskytt fagpersonell slik at de får gjort jobben sin og ikke blir nedringt av brukere, journalister og lignende. Fagpersoners energi skal gå mot en løsning av problemet ikke måtte snakke med adm.dir. eller andre ”perifere” oppgaver.

Pass på at forskjellige roller og ansvar fordeles. I et kompetansemiljø er det ofte mange høvdinger/generaler og få indianere/soldater. Dette vil være en stor utfordring. Avgjør hvem som skal bestemme og hvem som skal gjøre på et tidlig tidspunkt. Kanskje er det fagpersonen som skal være general og hans linjeleder som plutselig er fotsoldaten.  I en krise jeg var med på ble jeg leder for gjenopprettingsteamet,  mens sjefen min løp rundt og gjorde småjobber, kokte kaffe, bestilte mat og lignende.

Start en ordning der team arbeider i skift med en gang
Om det har oppstått en krise er sannsynligheten for at den varer lenger enn en arbeidsdag stor. Om du driver rovdrift på staben de første 12-18-24 timene sitter du igjen med en gjeng utslitte personer som begynner å gjøre feil.  Sett opp arbeidsskift og følg dem. Kanskje er det første du skal gjøre å sende hjem mange de mest kompetente på området der det er krise? Du trenger de i løsningsfasen, kanskje du ikke trenger dem under kartlegging og skadebegrensningsfasen.

Husk at også kriseleder og informasjonsleder trenger en NK som kan ta over.

Prioriter tjenestene, finn løsninger og gjenopprett tjenestene
Om du ikke har gjort det tidligere må du nå avgjøre hva som er forretningskritiske tjenester, hva som ikke er kritisk og hva som er støttetjenester. Prioritering er ikke å ta de som roper høyest først… Forankre gjerne prioriteringen i ledelsen så de kan ta eventuell støy som oppstår. Igjen: fagpersoner skal løse oppgavene, ikke bruke tid på å måtte forsvare det de gjør og rekkefølgen ovenfor brukere, media eller ledelsen.

Når du har funnet ut hvordan tjenestene kan gjenopprettes følg den prioriterte lista.

Avslutt krisetilstand
Forhåpentligvis er du nå omsider i en situasjon der du kan avslutte krisetilstanden. Personell, ressurser, prioriteringer går tilbake til normal drift igjen. Som med å erklære en krisetilstand er det viktig å være klar på når den avsluttes så det ikke er usikkerhet hos noen av de berørte partene.

Evaluer krisen og håndteringen
Noen dager etter en er tilbake i normal drift igjen kan en begynne å evaluere hva som skjedde før og under krisen. Hva var årsaken? Hvordan forhindrer vi at den oppstår på nytt? Hva fungerte under krisen? Hva må gjøres bedre/annerledes neste gang (for det vil komme en neste gang)?

Punktene over er bare mine betraktninger over hva en i alle fall må tenke på i en slik situasjon. Hva som er nødvendig for din organisasjon må vurderes. Kanskje må noe mer omfattende på plass, kanskje noe lettere.

Om du har ressurser til å lage kriseplaner er de en veldig fin ting å ha, men en foreldet/feilaktig plan kan være verre enn å ikke ha en plan. En fyldig oppdatert kriseplan er dyrt og ressurskrevende og om den ikke testes av og til er den tilnærmet verdiløs. Hver enkelt organisasjon må vurdere om en skal ha en plan og på hvilket nivå planen skal ligge. For de som ønsker å se på kriseplanlegging rundt IKT-tjenester anbefaler jeg at en begynner å jobbe med et eller annet anerkjent rammeverk som for eksempel ITILs Continuity Management.

Til sist vil jeg ønske de som jobber dag og natt i NTFK nå lykke til. Det vil være slitsomt, men også spennende og utfordrende, å få systemene opp igjen. Om en stund vil det sikkert bli noen historier fra skyttergravene som vil leve i avdelingen i flere år fremover. Få til en skikkelig avslutning på arbeidet på et eller annet vis. Sannsynligvis vil ikke andre rose arbeidet dere gjør nå, men heller peke strengt på de uheldige omstendighetene som førte til krisen, så dere må rose dere selv på et eller annet vis. 🙂

Diskusjon

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s