Автор:
Jose Manuel Jurado (MICROSOFT),
Lessons Learned #555: The First 60 Seconds of a Production Incident: Stop, Scope, Correlate;
Когда кто-то говорит: «База данных упала», начните с четырёх вопросов: что именно отказывает? кто или что затронуто? когда это началось? что изменилось или коррелируется с этим моментом? Затем позвольте доказательствам определить следующий шаг. Остановись. Определи масштаб. Сопоставь. Устраняй с доказательствами.
Когда начинается критический производственный инцидент, первое сообщение, которое мы часто получаем, звучит примерно так: «База данных упала».
В этот момент всё внезапно становится срочным.
- Инженеры открывают панели мониторинга.
-
Кто-то начинает проверять журналы.
-
Другой просматривает CPU и память.
-
Кто-то ещё спрашивает, было ли развёртывание.
-
Тестируются соединения.
-
Запрашиваются метрики.
-
Связываются с командами.
Все эти действия в конечном итоге могут быть необходимы. Но есть более важный вопрос, на который нужно ответить сначала: что именно означает «упала»?
Поработав над множеством производственных инцидентов, один урок становится всё более очевидным: первые 60 секунд — это не про решение инцидента. Это про определение инцидента.
Расплывчатое описание проблемы может направить диагностику во множество разных сторон. Точная формулировка проблемы резко сокращает пространство расследования.
В этой статье описывается простой подход, который можно применить в первые моменты инцидента: Остановись. Определи масштаб. Сопоставь.
