Driftudmelding: Ingen internetforbindelse

Oprettet d.

Driftudmelding: Ingen internetforbindelse

Torsdag d. 12. juni 2014 kl. 15:02:00 går én ud af to redundante Brocade netværks routere ned, hvilket bevirker at vores serverpark mister adgang til og fra internettet frem til kl. 15:16:00.

Oversigt over driftsproblem:
Årsag til 
driftsproblem :
Én af to redundante Brocade netværks routere tilbageholdte alle BGP sessioner mod vores internetudbydere. Den røg ikke offline, hvorfor forbindelsen ikke automatisk blev flyttet til den sekundære.
 
Proces for genetablering
af normal drift :
Kl. 15:02:00 - Vi mister forbindelsen til internettet

Kl. 15:02:15 - Vores teknikere modtager advarsel om driftsproblem

Kl. 15:03:30 - Teknikere logger på systemet og starter problemsøgning

Kl. 15:04:00 - Tekniker kører ud til datacenteret

Kl. 15:07:00 - Det bliver identificeret, at den primære router har smidt BGP sessionerne og at de ikke manuelt kan bringes online.

Kl. 15:10:30 - Den sekundære router kan ikke overtage BGP sessionerne.

Kl. 15:11:30 - Den primære router bliver fysisk genstartet

Kl. 15:15:30 - BGP sessionerne kommer online på den sekundære enhed

Kl. 15:16:00 - Normal drift er genetableret

Kl. 15:18:00 - Den primære router viser at alt er ok 
 
Hvem var påvirket : Alle kunder var påvirket.
  
Yderligere kommentarer : Vi fortsætter fejlsøgningen i samarbejde med leverandøren mhp. at identificere den præcise årsag til problemet samt en løsning herpå.