Home

Oorzaak van Microsoft-storing begon bij sluimerende fout in update uit juli

Achter de grote wereldwijde storing voor Microsofts clouddiensten vorige week zat een opeenstapeling van problemen die los van elkaar niet zo ernstig waren. De combinatie legde echter een fatale fout bloot. Die zat in een update in juli, maar had sindsdien nog geen problemen opgeleverd.

  • De grote Microsoft 365-storing van 12 november kwam door drie factoren.
  • Een daarvan was een fout in een update die Microsoft in juli doorvoerde.
  • Omdat die update zo oud was, verliep het herstelwerk voor de storing moeizamer.
  • De fout zat in een update voor gatewayservers in Microsofts netwerk voor zijn 365-cloud. Die servers regelen het netwerkverkeer voor de diverse applicaties en diensten in Microsofts cloudomgeving. De fout kon er onder bepaalde omstandigheden voor zorgen dat servers overbelast raakten en niet meer reageerden. De specifieke omstandigheden ontstonden op 12 november door twee andere factoren. Dit meldt Microsoft in het voorlopige rapport over de grote storing die pas na 36 uur was opgelost.

    Door een ongerelateerd probleem op de dag vóór de wereldwijde storing was bijna 14 procent van de servercapaciteit voor de gateways niet beschikbaar, legt vicepresident Charles Lamanna van Microsoft uit. Daarnaast ontstond er een plotse piek in de systeembelasting.

    Onder normale omstandigheden was er genoeg capaciteit over. De weggevallen 14 procent zou via gepland onderhoud en automatisch herstel weer in orde komen. Door de fout die sinds juli aanwezig was in Microsofts cloudomgeving en de plotse piek in de systeembelasting, gebeurde dat echter niet.

    De gatewayservers werden ineens flink meer belast doordat de cloudomgeving voor Teams overschakelde naar een ander deel van Microsofts infrastructuur. Dat was het deel waarop Exchange Online al draaide. Deze overschakeling was een normale failoveractie, waarmee Microsoft juist hoge uptime voor zijn clouddiensten kan bieden. Het gebeurde ongeveer vijftien uur voor het begin van de grote storing.

    De daardoor ontstane plotse piekbelasting 'activeerde' de fout die sinds juli sluimerde in Microsofts gatewayservers. Microsoft had de toen doorgevoerde update wel getest voor de uitrol. Nu blijkt echter dat het bedrijf in de testopstelling een andere samenstelling van netwerkverkeer en software had gebruikt. De fout waardoor servers overbelast raakten, was maandenlang niet opgetreden en ook niet opgemerkt.

    Bovendien blijkt de fout een grotere impact te hebben op computers met meer processorcores en met nieuwere hardware, legt Lamanna uit. Microsofts tests voor systeembelasting zijn in de regel meer gericht op zwakkere servers die minder cores hebben.

    De herstelwerkzaamheden voor de grote storing, die uitbrak door de samenkomst van de drie factoren, verliepen extra moeizaam doordat de foute update al maanden oud was. Servers die weer online werden gebracht, gingen bijna meteen weer onderuit. Het hielp niet om recente systeemconfiguraties terug te zetten, omdat daarin ook de fout van juli zat.

    Microsoft benadrukt nog dat de update in kwestie specifiek was voor de gatewayservers in de 365-cloudomgeving. De daarin meegekomen fout en de inmiddels uitgerolde fix daarvoor zijn niet van toepassing op Windows-installaties bij andere bedrijven en organisaties.

    Het voorlopige rapport over de langdurige, wereldwijde storing is voor 365-beheerders toegankelijk in Microsofts portaal, onder de identificatienummers MO1550821 voor Microsoft 365 en EX1550543 voor Exchange Online. Het definitieve rapport moet later deze week uitkomen.

    Source: Tweakers.net

    Previous

    Next