Door een verstoring op het netwerk van de leverancier merken klanten dat de verbindingen af en toe weg vallen.
Deze 'klapperverbindingen' zijn ons bekend en we onderzoeken het probleem.
Updates zijn onder dit bericht toegevoegd.
Tijdspad:
Kort na 12:30 merkten we een korte onderbreking van de peering (enkele seconden), dit bleek een voorbode geweest te zijn van wat er aan kwam.
We merkten om 14:30 dat er package loss ontstond, waarna we in contact zijn gegaan met de leverancier. Ze hadden het probleem toen in visier. Omstreeks 15:30 begon er een serieuze hoeveelheid package loss op te treden doordat routers achter elkaar herstartten. Hierop werd mitigatie toegepast en zagen de verbindingen stabiliseren.
We kregen mee dat het probleem verholpen was en dat het nog ~10 minuten zou duren voordat alle apparatuur weer helemaal operationeel zou zijn. Hierna was het probleem verholpen.
De leverancier kondigde aan buiten openingstijden tussen 19:00 en 20:00 spoedonderhoud uit te voeren om alle apparatuur na te lopen en waar nodig te voorzien van nieuwe software. Het probleem is daarmee definitief opgelost.
After action:
Vanuit de leverancier begrijpen we dat het mogelijk een gerichte aanval betrof.
Het blijkt een corrupt/gemanipuleerd BGPv6-pakket te zijn op het netwerk waardoor routers rebooten. Dit betrof mogelijk een zero-day in de firmware/software van de routers.
De routers zijn inmiddels allemaal geüpdate door de leverancier en we verwachten dat deze verstoring hiermee definitief is opgelost.
Om dit soort situaties voor te zijn zijn we al langere tijd bezig met een tweede uplink voor de internetlijnen waar nu problemen zijn geweest.
De uitbreiding van de peering voor deze locatie staat reeds gepland voor Q1 2024. We onderzoeken of het mogelijk is dit te vervroegen.
We merken de laatste 10 minuten geen onderbrekingen meer, we houden de situatie de komende uren extra nauwlettend in de gaten.
In principe is dit de laatste update, mocht er nadere informatie zijn, plaatsen we hier een update.
De situatie lijkt te stabiliseren. Mogelijk merken klanten nog enkele minuten haperingen terwijl de laatste routers herstarten na het toepassen van mitigatie.
De configuratieproblemen zijn geïdentificeerd en verholpen door de leverancier (CJ2) en de routers herstarten.
We verwachten dat binnen 30 minuten de problemen zijn verholpen, tot die tijd kan het zijn dat er af en toe onderbrekingen plaatsvinden als er routers herstarten.
