Мера ≠ цель
Показатель — это тень настоящей цели, а не сама цель. Пока на него не давят, тень повторяет фигуру. Начни давить — и выгоднее становится двигать тень, а не фигуру.
Закон Гудхарта
Когда показатель становится целью, он перестаёт быть хорошим показателем. Стоит начать оптимизировать метрику — и система быстро учится накручивать именно её, теряя то, ради чего метрику вообще ввели.
Объясняем на пальцах
Учитель ставит цель «получать пятёрки». Скоро ученик учится не предмету, а тому, как получить пятёрку: зубрит к контрольной, списывает, угадывает критерии. Оценка выросла — знания нет.
Классическая история: власти платили за убитых кобр, чтобы их стало меньше. Люди начали разводить кобр ради награды. Показатель «сдано кобр» рос, а проблема — нет. Цель и мера разъехались.
Измерение меняет поведение
Это родственник эффекта наблюдателя: как только метрика становится видимой и важной, система подстраивается под измерение, а не под смысл. Сам факт контроля меняет то, что контролируют.
Оптимизация без смысла
AI-агент и автоматизация оптимизируют ровно ту функцию, которую им задали. Дай «число закрытых тикетов» — получишь закрытые тикеты, а не решённые проблемы. Метрику нужно проектировать вместе с защитой от накрутки.
// гоним метрику — следим за целью
показатель и цель совпадают
показатель (метрика)
настоящая цель
Жми «Гнать показатель». Сначала кажется, что всё хорошо: метрика и цель растут вместе.
Как не сломать систему хорошей метрикой
В автоматизации и управлении это правило бьёт постоянно: KPI, дашборды, целевые функции AI. Защита та же, что у наблюдения вообще — не путать показатель с целью, держать несколько разных метрик (чтобы накрутка одной была видна по другой), и регулярно спрашивать: «мы двигаем фигуру или только тень?»
факт
Чарльз Гудхарт сформулировал мысль в 1975 году про денежную политику; антрополог Мэрилин Стратерн позже дала ходовую формулировку «когда мера становится целью, она перестаёт быть хорошей мерой». «Кобра-эффект» — реальный сюжет колониального Дели; похожий случай с крысами был во французском Ханое.
Любая наблюдаемая закономерность склонна рушиться, как только на неё начинают давить ради управления.
Чем важнее количественный показатель для решений, тем сильнее его будут искажать — и тем сильнее он исказит то, что должен измерять.
Оптимизатор бездушен: он даст вам ровно то число, что вы попросили, и ни граммом смысла больше.