Давным-давно, в далёкой галактике.

Маленький стартап.

Присутствие в 250 дата-центрах по всему миру. Сотни серверов.

CMDB. Chef. Автоматизация.
Основатели понимали ценность времени людей и времени реакции.
Развитие системы — высокий приоритет.

Есть профит?

Делай. Запустим.

Дежурство on-call. Тогда это было ещё ругательство.
Ночь в одиночестве.
Звонок от мониторинга: на одном из серверов вышел из строя диск.

База знаний.
dmesg.
syslog.
Анализ глазками.

Ручная работа.
Найти сбойный диск.
Понять, что это точно он.

Вспомнить:

Чёрт. Там же было что-то нестандартное.

Помигать лампочкой.
Заменить диск.
Инициализировать.

Юный падаван, ошибёшься одной буквой — и тебя ждут весёлые часы восстановления всего.

Две минуты на реакцию.
Десять минут на археологию.
Ночью.

Нет смысла автоматизировать.
Всё просто и быстро.
Два-три диска в неделю.

Литры кофе.
Система работает.
Иногда ценой нервов того, кто «на звонке».

Наше время. Наше место. Наши реалии.

Крупная компания. 2 дата-центра.
Excel. Чаты. Инструкции.

Очередное совещание.
Презентации.
Выступления ответственных лиц.

Нам нужен год на автоматизацию операции, которая занимает девять минут в неделю.

В дневное время.
После заявки в поддержку.
С описанием ситуации.

Процедурная история.

Наши люди ошибаются.