Інфляція метрик
Коли команди маніпулюють метриками замість покращення реальних результатів.
Визначення
Інфляція метрик — це систематичне маніпулювання OKR-показниками, при якому числа покращуються, а реальні результати для клієнтів, бізнесу та стейкхолдерів — ні. Закон Гудхарта в дії: "Коли міра стає ціллю, вона перестає бути хорошою мірою."
Інфляція метрик відрізняється від фейкових OKR. Фейкові OKR — це неправильне формулювання. Інфляція метрик — це правильно сформульовані OKR, які гейміться. Формат правильний. Baseline є. Числа зростають. Але за числами немає реальної зміни.
П'ять форм інфляції метрик:
- Заниження baseline. Команда навмисно занижує стартову точку, щоб прогрес виглядав більшим. Baseline "З 10%" — хоча реально вже 25%.
- Зниження планки target. Target ставиться на рівні, який буде досягнутий без додаткових зусиль. "З 40% до 42%" — коли органічне зростання дає 5% на квартал.
- Redefinition mid-quarter. Посеред кварталу змінюється визначення метрики. "NPS серед всіх клієнтів" стає "NPS серед активних клієнтів останнього місяця" — бо серед активних NPS вищий.
- Cherry-picking. Команда обирає метрику, яку легко покращити, ігноруючи метрики, що відображають реальний стан. Вимірюють кількість реєстрацій — ігнорують retention.
- Proxy gaming. Команда оптимізує proxy-метрику, яка перестає корелювати з реальним результатом. Збільшили кількість дзвінків клієнтам (proxy для задоволеності) — але дзвінки роздратовують клієнтів. Proxy зріс. Задоволеність впала.
Діагностичні ознаки
На рівні даних
| # | Ознака | Як перевірити |
|---|---|---|
| 1 | Стабільно високий скоринг | Середній скоринг по організації > 0.85 протягом 2+ кварталів. Розподіл: 80%+ KR у зоні 0.8-1.0. Відсутні KR < 0.5. |
| 2 | Метрики зростають, результати — ні | Числа в OKR покращуються. Але: revenue не зростає, churn не падає, NPS не покращується, клієнтські скарги не зменшуються. Є розрив між OKR-метриками та бізнес-метриками. |
| 3 | Baseline зсувається | Baseline змінювався після початку кварталу хоча б раз за останні 2 кварталі. Або baseline поточного кварталу нижчий за фінальне значення попереднього. |
| 4 | Визначення метрик змінюються | Визначення KR-метрики було скориговане mid-quarter. Або формулювання KR змінилось між початком та кінцем кварталу. |
| 5 | Відсутність counter-metrics | Команда оптимізує одну метрику без контрольної. Зростає швидкість — але не перевіряється якість. Зростає кількість — але не перевіряється цінність. |
На рівні поведінки
| # | Ознака | Як перевірити |
|---|---|---|
| 6 | Дискусії про визначення | На check-in значна частина часу йде на "як рахувати". "А чи включати цей сегмент?" "А якщо порахувати по-іншому?" — це ознаки маніпулювання. |
| 7 | Вибіркова звітність | Команда звітує про KR, що зростають, і мовчить про ті, що падають. Або звітує про абсолютні числа, приховуючи відносні. |
| 8 | Опір зовнішній верифікації | Коли хтось пропонує перевірити дані або змінити методологію підрахунку — команда реагує захисно. |
| 9 | "Технічне" досягнення | KR формально досягнутий (число є), але ніхто не відчуває результату. Команда сама не може пояснити, що реально змінилось. |
| 10 | Однакові KR кожен квартал | Ті самі метрики, ті самі значення, кожен квартал. Жодного прогресу на рівні амбітності. |
Тест "подвійної перевірки"
Для кожного KR зі скорингом > 0.8 задайте два питання:
- "Якщо ми покажемо цей результат клієнту/користувачу — він помітить різницю?" Якщо ні — метрика може бути proxy, що відірвалась від реальності.
- "Чи досягли б ми цього числа без додаткових зусиль?" Якщо так — target був занадто легким.
Кореневі причини
Причина 1. OKR-скоринг прив'язаний до компенсації
Найпотужніший драйвер інфляції. Якщо бонус залежить від OKR-скорингу, раціональна поведінка — максимізувати скоринг мінімальними зусиллями. Це не ознака поганих людей. Це ознака поганої системи стимулів.
Індикатор: існує формула "OKR score → бонус" або "OKR score → performance review rating".
Причина 2. Публічне порівняння та шеймінг
Організація порівнює скоринг між командами публічно. Команда з найнижчим скорингом отримує увагу (негативну). Ніхто не хоче бути останнім. Результат: перегони за числами, а не за результатами.
Індикатор: на all-hands показується рейтинг команд за скорингом. Або менеджер коментує: "Команда X знову найнижча."
Причина 3. Відсутність якісної оцінки
Організація оцінює OKR виключно кількісно. Число досягнуте = OKR успішний. Ніхто не запитує: "А що реально змінилось? Чи відчув це клієнт? Чи зросла цінність?" Числа без контексту — запрошення до маніпулювання.
Індикатор: на review дивляться тільки на числа. Якісне обговорення відсутнє або займає < 5 хвилин.
Причина 4. Неправильно обрані метрики
Команда обрала метрику, яка легко вимірюється, але слабко корелює з бажаним результатом. Або обрала vanity metric замість actionable metric. Не тому, що хоче гейміти — а тому, що правильну метрику складно виміряти.
Індикатор: команда не може пояснити причинно-наслідковий зв'язок між своєю метрикою та бізнес-результатом.
Інтервенційний плейбук
Інтервенція 1. Деприв'язка від компенсації
Це найважливіша інтервенція. Без неї всі інші будуть мати обмежений ефект.
Крок 1. Проведіть аналіз: чи існує в організації прямий або непрямий зв'язок між OKR-скорингом та компенсацією (бонуси, підвищення, performance review)?
Крок 2. Якщо зв'язок є — запропонуйте розділення:
- OKR — для фокусування, навчання, стратегічного вирівнювання.
- Performance evaluation — окрема система, що враховує поведінку, внесок, зростання, зворотний зв'язок від колег.
Крок 3. Комунікуйте зміну чітко: "OKR-скоринг 0.4 не означає поганий результат. Це означає, що ми поставили амбітну ціль і досягли 40% — це цінна інформація."
Крок 4. Перевірте через квартал: чи знизився середній скоринг? Якщо так — команди почали ставити чесні цілі.
Про прив'язку OKR до мотивації та чому це деструктивно — див. Збірка типових помилок.
Інтервенція 2. Counter-metrics (парні метрики)
Для кожного KR визначте counter-metric — метрику, яка стримує гейминг.
| KR | Counter-metric | Логіка |
|---|---|---|
| З 100 до 500 нових реєстрацій | Retention після 30 днів ≥ 25% | Запобігає "мертвим" реєстраціям |
| З 4 годин до 1 години час відповіді підтримки | CSAT підтримки ≥ 4.0 | Запобігає шаблонним відповідям без вирішення |
| З 10 до 30 релізів на місяць | % критичних багів після релізу ≤ 2% | Запобігає жертвуванню якістю |
| З 50% до 80% conversion rate | Average revenue per user ≥ $X | Запобігає дешевим конверсіям |
Правило: якщо KR досягнутий, але counter-metric погіршилась — KR не зараховується. Або скоринг знижується.
Інтервенція 3. Якісний review поруч з кількісним
На квартальному review додайте якісний компонент. Для кожного OKR команда відповідає на три питання:
- "Що реально змінилось для клієнта/стейкхолдера?" Не числа — а відчутна різниця.
- "Який найбільший урок ми отримали з цього OKR?" Що ми знаємо зараз, чого не знали на початку кварталу?
- "Чи поставили б ми цей самий OKR на наступний квартал?" Якщо так — чому? Якщо ні — що змінилось?
Якісний review займає 10-15 хвилин на OKR. Він не замінює числа — він доповнює їх контекстом.
Інтервенція 4. Cross-team calibration
Проведіть калібрувальну сесію, де команди перевіряють OKR одна одної.
Формат (2 години, всі team leads):
- Кожна команда презентує свої OKR та скоринг (3 хвилини).
- Інші команди задають одне питання: "Чи вважаєте ви цей скоринг чесним?" Голосування: "так / ні / не впевнений" (2 хвилини).
- Якщо > 30% голосів "ні" або "не впевнений" — обговорення (5 хвилин). Чому є сумніви?
Ефект: соціальний тиск працює в обидві сторони. Команди не хочуть бути спійманими на інфляції. Але й не хочуть занижувати — бо інші побачать.
Інтервенція 5. Аудит baseline та визначень
Введіть правило: baseline та визначення метрики фіксуються на початку кварталу і не змінюються.
Процедура:
- На сесії планування для кожного KR записати:
- Визначення метрики (що саме і як вимірюється).
- Джерело даних (де дивитись).
- Baseline (поточне значення з датою).
- Target (цільове значення).
- Документ зафіксований. Зміни — лише через формальний процес recalibration з обґрунтуванням.
- Зміни визначення або baseline mid-quarter автоматично позначаються як recalibration. Старе та нове значення зберігаються для прозорості.
Процедура recalibration — див. Рекалібрація OKR.
Індикатори одужання
Кількісні індикатори
| Індикатор | Інфляція | Здоровий стан |
|---|---|---|
| Середній скоринг по організації | > 0.85 | 0.5-0.7 |
| % KR зі скорингом 1.0 | > 30% | < 10% |
| Кількість змін baseline mid-quarter | Регулярні | 0 (або з формальним обґрунтуванням) |
| Наявність counter-metrics | < 10% KR | > 50% KR |
| Кореляція OKR-метрик з бізнес-метриками | Слабка або відсутня | Відстежується та обговорюється |
Якісні індикатори
- Команди ставлять амбітні цілі без страху низького скорингу.
- Скоринг 0.3-0.5 обговорюється як "ми навчились X" — не як "ми провалились".
- На review обговорюється і число, і контекст. "Ми досягли 0.7 і ось що реально змінилось."
- Baseline визначається чесно, з посиланням на джерело даних.
- Команди самі ідентифікують потенційне гейминг під час планування: "Цю метрику легко гейміти. Додамо counter-metric."
- Performance review не посилається на OKR-скоринг.
Часові орієнтири
- Квартал 1 після інтервенції. Деприв'язка від компенсації оголошена та впроваджена. Середній скоринг знизився з 0.85-0.95 до 0.6-0.7 (це нормально — це чесність). Counter-metrics додані до 30%+ KR.
- Квартал 2. Якісний review став частиною процесу. Cross-team calibration проведена. Baseline та визначення метрик зафіксовані на початку кварталу.
- Квартал 3. Команди самостійно додають counter-metrics. Інфляція стає рідкісним винятком. Дискусії на review зосереджені на реальному впливі, а не на числах.
Використовуйте Діагностичний чеклист здоров'я OKR для моніторингу якості метрик щоквартально.