Теперь нужно думать об уходе от монополиста в сфере облачных услуг!
Вчера столкнулись с ситуацией, которая ранее никогда не случалась в нашей 13летней практике. Целый круный Центр Обработки Данных АО Казахтелеком в г.Нур-Султан, находящийся по улице Жирентаева,11 был в мгновение ока полностью обесточен в 12 часов дня.
Все клиенты, арендующие там стойки или виртуальные мощности, мгновенно оказались в катастрафической ситуации. У кого-то сгорели сервера, у кого-то порушились системы. У нас в Documentolog Kz стали недоступными все системы, которые были размещены в этом ЦОДе. Одним из критичных сервисов был центр обмена документами doculite.kz, через который более 40000 клиентов отправляют документы друг другу и в том числе в государственные органы. Все перестало работать..
Восстановление заняло несколько часов. Сначала со стороны Телекома, потом всю ночь работали наши специалисты, откачивали, рухнувшие из-за некорректного отключения, базы данных и файловые кластера. Хорошо, что у нас несколько локаций размещения наших систем по Казахстану и постоянно реплицирование бэкапов. Это позволило, частично минимизировать ущерб.. Тем не менее, телефоны нашей службы поддержки обрывались... Коллеги по цеху, у которых вышли из строя все сервера, хватались за головы.. Ущерб трудно оценить...
Kazakhtelecom пока опубликовал только новость о данном инцинденте на официальном сайте Дирекции информационных Систем http://idhost.kz/news/
Мы направили письменный запрос для получения официальной позиции о причинах аварии, для дальнейшей предоставления всем нашим клиентам.
Какие мы сделали выводы из этой ситуации?
1. При проектировании отказоустойчивости инфраструктуры нужно учитывать, что даже самые маловероятные события тоже могут произойти. У ЦОДа было основное и резервное питание, генератор, процедуры и все, что по-идее, должно было обеспечивать бесперебойную работу. Однако, даже это не помогло.
2. Теперь нужно планировать дублировании мощностей каждого ЦОДа на других локациях. Раньше дублирование систем было только в рамках одного ЦОДа, а теперь нужно думать еще и между ЦОДами. Это увеличит расходы на сервера в разы! А значит надо будет искать финансирование, что в итоге, может отразиться на конечных клиентах. Возможно не на всех, но для тех, кто готов будет оплачивать горячее резервирования на разных локациях.
3. Надо обновить протокол действий сотрудников компании, в подобных внештатных ситуациях, включая официальные публикации.
Ну а в целом, быстро двигаясь в сторону цифровизации бизнеса, мы быстро привыкаем к бесперебойной работе сервисов 99,99% процентов времени. И только когда наступает этот 0,01% случаев остановки или проблем, мы осознаем, что у каждой стабильности, каждого высокого стандарта качества обязательно есть своя ВЫСОКАЯ цена. Качество не бывает дешевым... это закон, особенно в корпоративном секторе!
Этот случай мы оставим у себя на сайте, как пример того, почему клиенту иногда лучше доплатить за надежность и быть уверенными, что бесперебойность бизнеса не будет нарушена. Ведь мы очень хорошо выучили этот урок.
Ресурс: Facebook Documentolog @documentolog - https://www.facebook.com/photo/?fbid=4128962180480899&set=a.672725826104569
Текст 100%