Er is een algemene storing bij één van onze VoIP providers. Inbound en outbound telefonie werkt niet meer.
14:04 - Onze monitoring heeft waargenomen dat SIP trunks van alle klanten er uit liggen, ook het control panel van onze provider is onbereikbaar en we merken dat de telefonie voor onze klanten zowel inbound als outbound verstoord is, we proberen nu contact te krijgen met onze provider. We houden u op de hoogte via deze pagina.
14:23 - De storing is ook bekend bij onze provider en ze hebben hierover op hun statuspagina het volgende aangegeven:
Investigating - Op dit moment is er een verstoring gaande in een van onze datacenters waarbij meerdere diensten geraakt worden. Onze engineers zijn de verstoring aan het onderzoeken.
14:49 - Onze provider geeft door:
Er is sprake van een stroomonderbreking in het datacenter en zijn aan het onderzoeken hoe we de diensten zo snel mogelijk kunnen herstellen.
14:50 - We merken dat onze eigen telefooncentrale voor support (0153010405) weer bereikbaar is
15:19 - Update provider:
Identified - Een deel van de diensten hebben onze engineers inmiddels kunnen herstellen. Helaas zijn nog niet alle diensten terug online. Onze engineers zijn druk bezig om alles weer online te krijgen.
15:50 - Voor bepaalde klanten zijn we bezig backup trunks in te stellen voor outbound. Neem contact met ons op via whatsapp indien u dit nodig heeft: +31153010405. Let wel voor inbound is op dit moment geen backup mogelijk.
16:14 - Van onze provider:
Onze engineers hebben alle diensten kunnen herstellen door diensten te her-routeren naar een ander datacenter. Op dit moment zijn alle diensten weer opnieuw aan het registreren en online komen. Gezien het grote aantal diensten dat tegelijkertijd aan het aanmelden is kan het even duren voordat alles weer online is.
16:30 - Alle diensten zijn weer hersteld. Er volgt later nog een post-mortem analyse die u kunt vinden bij de opgeloste storingen. Voorlopige update van provider:
Onze engineers hebben alle diensten kunnen herstellen door diensten te her-routeren naar een ander datacenter. Op dit moment zijn alle diensten weer opnieuw aan het registreren en online komen. Gezien het grote aantal diensten dat tegelijkertijd aan het aanmelden is kan het even duren voordat alles weer online is.
17:15 - Update provider:
Onze engineers zijn nog druk bezig om alle diensten weer online te krijgen. Veel diensten hebben we inmiddels weer kunnen herstellen maar helaas is nog niet alles terug.
Er is een algemene storing bij één van onze VoIP providers. Hierdoor kunnen er geen inkomende en uitgaande gesprekken niet tot stand komen.
13:49 - Probleem gemeld
14:08 - Er wordt gewerkt aan een oplossing bij de provider
14:40 - Update van onze provider: Het probleem is nog altijd in onderzoek. De geschatte oplostijd is momenteel onbekend. We werken eraan om dit zo snel mogelijk te verhelpen en zullen een update plaatsen zodra er meer bekend is.
15:20 - Update van onze provider: Het verkeer is gedeeltelijk hersteld en we werken verder aan volledig herstel. We blijven de situatie monitoren totdat alles volledig hersteld is.
15:45 - Het verkeer is hersteld en wordt in monitoring gehouden.
Oorzaak:
Oorzaak van de verstoring is herleid naar een menselijke aanpassing en fout, waarbij de interne procedures niet zijn gevolgd. De aanpassing was niet gedocumenteerd en werd uitgevoerd tijdens kantoortijden. Door het ontbreken van de vastlegging van de aanpassing heeft de oplossing langer geduurd dan noodzakelijk.
Actie:
De betreffende afdeling welke verantwoordelijk was voor de aanpassing is gewezen op de interne procedure voor het doorvoeren van aanpassingen. Daarnaast is de procedure geëvalueerd en hierbij hebben we geconcludeerd dat de procedure zoals vastgelegd de verstoring had voorkomen, wanneer deze was gevolgd.
