Иногда дашборд выглядит ровно.

Иногда дашборд выглядит ровно.
Скучно.
Как будто система решила вести себя прилично.

В такие моменты кто-нибудь осторожно спрашивает:

«А что, всё хорошо?»

Обычно именно после таких вопросов всё становится интереснее.

Но в этот раз обошлось.

Неделю назад был странный пик.
Потом — ещё один.
Полезли смотреть.
Что-то поправили.
Где-то подкрутили.
Что-то убрали.
Мелочь.
Та самая мелочь, которая потом обычно внезапно становится инцидентом.

Для распределённых систем такое поведение стало частью нормальной эксплуатации.
Даже при проблемах в отдельных компонентах система продолжает удерживать критичные операции в допустимых границах за счёт механизмов компенсации, перераспределения нагрузки и упрощённых режимов работы.

При ухудшении ситуации меняются правила эксплуатации.
Ограничиваются изменения, усиливается контроль ошибок, часть функций переводится в упрощённый режим работы.

Бюджет ошибок почти как ночь.
Пока система остаётся устойчивой — изменения проходят обычным шагом.
Когда исчерпывается — требования к изменениям становятся жёстче.
После полного предела остаются только аварийные работы.

SLO показывает допустимое.
SLI — фактическое.
Скорость расхода бюджета ошибок — кто ближе к краю.
На этом основаны решения: идти дальше или ждать стабилизации.

Иногда графики скучные.
Иногда система тихо шевелится сама по себе.
Наверное, поэтому со временем начинаешь любить скучные графики.
Слишком дорого обычно обходится интересный.