Інфляція метрик

Визначення

Інфляція метрик — систематичне маніпулювання OKR-показниками, при якому числа покращуються, а реальні результати для клієнтів, бізнесу та стейкхолдерів — ні. Закон Гудхарта в дії: "Коли міра стає ціллю, вона перестає бути хорошою мірою."

Від фейкових OKR цей антипатерн відрізняється природою проблеми. Фейкові OKR — неправильне формулювання. Інфляція метрик — правильно сформульовані OKR, які гейміться. Формат правильний. Baseline є. Числа зростають. Але за числами немає реальної зміни.

П'ять форм інфляції:

Заниження baseline. Команда навмисно занижує стартову точку, щоб прогрес виглядав більшим. Baseline "З 10%" — хоча реально вже 25%. Зниження планки target. Target ставиться на рівні, який буде досягнутий без додаткових зусиль. "З 40% до 42%" — коли органічне зростання дає 5% на квартал. Redefinition mid-quarter. Посеред кварталу змінюється визначення метрики. "NPS серед всіх клієнтів" стає "NPS серед активних клієнтів останнього місяця" — бо серед активних NPS вищий. Cherry-picking. Команда обирає метрику, яку легко покращити, ігноруючи метрики, що відображають реальний стан. Вимірюють кількість реєстрацій — ігнорують retention. Proxy gaming. Команда оптимізує proxy-метрику, яка перестає корелювати з реальним результатом. Збільшили кількість дзвінків клієнтам (proxy для задоволеності) — але дзвінки роздратовують клієнтів. Proxy зріс. Задоволеність впала.

---

Діагностичні ознаки

На рівні даних

#	Ознака	Як перевірити
1	Стабільно високий оцінка	Середній оцінка по організації > 0.85 протягом 2+ кварталів. Розподіл: 80%+ KR у зоні 0.8-1.0. Відсутні KR < 0.5.
2	Метрики зростають, результати — ні	Числа в OKR покращуються. Але: revenue не зростає, churn не падає, NPS не покращується, клієнтські скарги не зменшуються. Є розрив між OKR-метриками та бізнес-метриками.
3	Baseline зсувається	Baseline змінювався після початку кварталу хоча б раз за останні 2 кварталі. Або baseline поточного кварталу нижчий за фінальне значення попереднього.
4	Визначення метрик змінюються	Визначення KR-метрики було скориговане mid-quarter. Або формулювання KR змінилось між початком та кінцем кварталу.
5	Відсутність counter-metrics	Команда оптимізує одну метрику без контрольної. Зростає швидкість — але не перевіряється якість. Зростає кількість — але не перевіряється цінність.

На рівні поведінки

#	Ознака	Як перевірити
6	Дискусії про визначення	На check-in значна частина часу йде на "як рахувати". "А чи включати цей сегмент?" "А якщо порахувати по-іншому?" — ознаки маніпулювання.
7	Вибіркова звітність	Команда звітує про KR, що зростають, і мовчить про ті, що падають. Або звітує про абсолютні числа, приховуючи відносні.
8	Опір зовнішній верифікації	Коли хтось пропонує перевірити дані або змінити методологію підрахунку — команда реагує захисно.
9	"Технічне" досягнення	KR формально досягнутий (число є), але ніхто не відчуває результату. Команда сама не може пояснити, що реально змінилось.
10	Однакові KR кожен квартал	Ті самі метрики, ті самі значення, кожен квартал. Жодного прогресу на рівні амбітності.

Тест "подвійної перевірки"

Для кожного KR зі оцінкою > 0.8 задайте два питання:

1. "Якщо ми покажемо цей результат клієнту/користувачу — він помітить різницю?" Якщо ні — метрика може бути proxy, що відірвалась від реальності.
2. "Чи досягли б ми цього числа без додаткових зусиль?" Якщо так — target був занадто легким.

---

Кореневі причини

Причина 1. оцінка OKR прив'язаний до компенсації

Найпотужніший драйвер інфляції. Якщо бонус залежить від оцінка OKRу, раціональна поведінка — максимізувати оцінка мінімальними зусиллями. Це не ознака поганих людей. Це ознака поганої системи стимулів.

Індикатор: існує формула "OKR score → бонус" або "OKR score → performance review rating".

Причина 2. Публічне порівняння та шеймінг

Організація порівнює оцінка між командами публічно. Команда з найнижчим оцінкою отримує негативну увагу. Ніхто не хоче бути останнім. Результат: перегони за числами, а не за результатами.

Індикатор: на all-hands показується рейтинг команд за оцінкою. Або менеджер коментує: "Команда X знову найнижча."

Причина 3. Відсутність якісної оцінки

Організація оцінює OKR виключно кількісно. Число досягнуте = OKR успішний. Ніхто не запитує: "А що реально змінилось? Чи відчув це клієнт? Чи зросла цінність?" Числа без контексту — запрошення до маніпулювання.

Індикатор: на review дивляться тільки на числа. Якісне обговорення відсутнє або займає менше 5 хвилин.

Причина 4. Неправильно обрані метрики

Команда обрала метрику, яка легко вимірюється, але слабко корелює з бажаним результатом. Або обрала vanity metric замість actionable metric. Не тому, що хоче гейміти — а тому, що правильну метрику складно виміряти.

Індикатор: команда не може пояснити причинно-наслідковий зв'язок між своєю метрикою та бізнес-результатом.

---

Інтервенційний плейбук

Інтервенція 1. Деприв'язка від компенсації

Без цієї інтервенції всі інші матимуть обмежений ефект.

Крок 1. Проведіть аналіз: чи існує в організації прямий або непрямий зв'язок між оцінка OKRом та компенсацією (бонуси, підвищення, performance review)?

Крок 2. Якщо зв'язок є — запропонуйте розділення. OKR — для фокусування, навчання, стратегічного узгодження. Performance evaluation — окрема система, що враховує поведінку, внесок, зростання, зворотний зв'язок від колег.

Крок 3. Комунікуйте зміну чітко: "оцінка OKR 0.4 не означає поганий результат. Це означає, що ми поставили амбітну ціль і досягли 40% — це цінна інформація."

Крок 4. Перевірте через квартал: чи знизився середній оцінка? Якщо так — команди почали ставити чесні цілі.

Про прив'язку OKR до мотивації та чому це деструктивно — див. Збірка типових помилок.

Інтервенція 2. Counter-metrics (парні метрики)

Для кожного KR визначте counter-metric — метрику, яка стримує гейминг.

KR	Counter-metric	Логіка
З 100 до 500 нових реєстрацій	Retention після 30 днів ≥ 25%	Запобігає "мертвим" реєстраціям
З 4 годин до 1 години час відповіді підтримки	CSAT підтримки ≥ 4.0	Запобігає шаблонним відповідям без вирішення
З 10 до 30 релізів на місяць	% критичних багів після релізу ≤ 2%	Запобігає жертвуванню якістю
З 50% до 80% conversion rate	Average revenue per user ≥ $X	Запобігає дешевим конверсіям

Правило: якщо KR досягнутий, але counter-metric погіршилась — KR не зараховується. Або оцінка знижується.

Інтервенція 3. Якісний review поруч з кількісним

На квартальному review додайте якісний компонент. Для кожного OKR команда відповідає на три питання:

1. "Що реально змінилось для клієнта/стейкхолдера?" Не числа — а відчутна різниця.
2. "Який найбільший урок ми отримали з цього OKR?" Що ми знаємо зараз, чого не знали на початку кварталу?
3. "Чи поставили б ми цей самий OKR на наступний квартал?" Якщо так — чому? Якщо ні — що змінилось?

Якісний review займає 10-15 хвилин на OKR. Він не замінює числа — він доповнює їх контекстом.

Інтервенція 4. Cross-team calibration

Проведіть калібрувальну сесію, де команди перевіряють OKR одна одної.

Формат (2 години, всі team leads):

1. Кожна команда презентує свої OKR та оцінка (3 хвилини).
2. Інші команди задають одне питання: "Чи вважаєте ви цей оцінка чесним?" Голосування: "так / ні / не впевнений" (2 хвилини).
3. Якщо > 30% голосів "ні" або "не впевнений" — обговорення (5 хвилин). Чому є сумніви?

Ефект: соціальний тиск працює в обидві сторони. Команди не хочуть бути спійманими на інфляції. Але й не хочуть занижувати — бо інші побачать.

Інтервенція 5. Аудит baseline та визначень

Введіть правило: baseline та визначення метрики фіксуються на початку кварталу і не змінюються.

Процедура:

1. На сесії планування для кожного KR записати: визначення метрики (що саме і як вимірюється), джерело даних (де дивитись), baseline (поточне значення з датою), target (цільове значення).
2. Документ зафіксований. Зміни — лише через формальний процес recalibration з обґрунтуванням.
3. Зміни визначення або baseline mid-quarter автоматично позначаються як recalibration. Старе та нове значення зберігаються для прозорості.

Процедура recalibration — див. Рекалібрація OKR.

---

Індикатори одужання

Кількісні індикатори

Індикатор	Інфляція	Здоровий стан
Середній оцінка по організації	> 0.85	0.5-0.7
% KR зі оцінкою 1.0	> 30%	< 10%
Кількість змін baseline mid-quarter	Регулярні	0 (або з формальним обґрунтуванням)
Наявність counter-metrics	< 10% KR	> 50% KR
Кореляція OKR-метрик з бізнес-метриками	Слабка або відсутня	Відстежується та обговорюється

Якісні індикатори

Команди ставлять амбітні цілі без страху низького оцінки. Оцінка 0.3-0.5 обговорюється як "ми навчились X", а не як "ми провалились". На review обговорюється і число, і контекст. "Ми досягли 0.7 і ось що реально змінилось." Baseline визначається чесно, з посиланням на джерело даних. Команди самі ідентифікують потенційне гейминг під час планування: "Цю метрику легко гейміти. Додамо counter-metric." Performance review не посилається на оцінка OKR.

Часові орієнтири

Квартал 1 після інтервенції. Деприв'язка від компенсації оголошена та впроваджена. Середній оцінка знизився з 0.85-0.95 до 0.6-0.7 (це нормально — це чесність). Counter-metrics додані до 30%+ KR.

Квартал 2. Якісний review став частиною процесу. Cross-team calibration проведена. Baseline та визначення метрик зафіксовані на початку кварталу.

Квартал 3. Команди самостійно додають counter-metrics. Інфляція стає рідкісним винятком. Дискусії на review зосереджені на реальному впливі, а не на числах.

Використовуйте Діагностичний чеклист здоров'я OKR для моніторингу якості метрик щоквартально.