Internetstoring door verstoring in datacenter

Door het uitvoeren van een spoed-securityupdate naar aanleiding van de Mikrotik SSH-vulnerability in een router (waarbij de impact nul had moeten zijn) is door een configuratiefout een storing ontstaan in ons datacenter in Groningen.

Update 16:52: We zien impact bij een aantal diensten in het datacenter, maar ook bij internetverbindingen van Bright Access en internetverbindingen die via dark fiber zijn ontsloten. Een van onze engineers is onderweg naar het datacenter om te onderzoeken wat er aan de hand is en de storing op te lossen. Ook onze achterwachtdienst is geactiveerd en denkt mee. In verband met deze storing hebben we onze telefoonlijnen langer geopend. Je hoeft ons niet te bellen om de storing te melden.

We verwachten omstreeks 17:30 een eerste inhoudelijke update van de engineer die onderweg is.

Update 17:20: We hebben de oorzaak op afstand vastgesteld en hebben het probleem kunnen verhelpen. Met het oplossen van de configuratiefout is het onderliggende probleem opgelost. We houden het netwerk in de gaten maar gaan er vanuit dat dit de definitieve oplossing voor het probleem is.

Update 17:41: Alles blijft stabiel draaien, we sluiten daarom dit incident.