Модуль 5.3 · Урок 4
Ошибки при оценке ROI
Содержание
- Чему вы научитесь
- Почему 70% прогнозов ROI не сбываются
- Ошибка 1: Завышение процента автоматизации
- Ошибка 2: Игнорирование human-in-the-loop
- Ошибка 3: Недооценка стоимости данных
- Ошибка 4: Линейная экстраполяция
- Ошибка 5: Игнорирование деградации модели
- Ошибка 6: Сравнение с идеалом, а не с реальностью
- Ошибка 7: Забытый opportunity cost
- Ошибка 8: Optimism Bias
- Ошибка 9: Подмена метрик
- Ошибка 10: Игнорирование затрат на управление изменениями
- Чек-лист: «Проверь свой расчёт»
- Итог: шкала здорового ROI
- Ключевые выводы
Чему вы научитесь
- Распознавать 10 типичных ошибок при расчёте ROI AI-проектов
- Понимать, почему «здоровый ROI пилота — 100–300%»
- Проверять свой расчёт по чек-листу из 10 пунктов
- Избегать Optimism Bias при презентации руководству
Почему 70% прогнозов ROI не сбываются
Исследования показывают, что большинство AI-проектов не достигают прогнозируемого ROI. Причины типовые и предсказуемые. Вот десять главных ошибок.
flowchart LR
A["Ошибки в затратах<br/>#1–3, #7, #10"] --> D["Прогноз ROI<br/>не сбывается"]
B["Ошибки в выгодах<br/>#4–6, #8, #9"] --> D
D --> E["Разочарование<br/>руководства"]
Ошибка 1: Завышение процента автоматизации
Говорят: «AI заменит 80% работы оператора». Реальность:
- Первые 50% — легко (шаблонные случаи)
- 50–70% — средне (нужна хорошая база знаний)
- 70–85% — сложно (тонкая настройка, много примеров)
- 85–95% — очень сложно (каждый % стоит экспоненциально дороже)
- 95%+ — практически невозможно без полной перестройки процесса
Совет: закладывайте 50–60% для первого пилота. Если получится больше — отлично.
Ошибка 2: Игнорирование human-in-the-loop
Говорят: «AI обрабатывает, человек иногда проверяет — это бесплатно».
Реальность: при 100 заявках/день с точностью 90% и 2 мин на проверку каждой:
- Время на проверку: 100 × 2 мин = 200 мин = 3.3 часа
- Время на исправление: 10 ошибок × 10 мин = 100 мин = 1.7 часа
- Итого: 5 часов/день — всё ещё полная ставка сотрудника
Совет: считайте human-in-the-loop как отдельную статью. Планируйте проверку 100% AI-ответов в первые 3 месяца, затем выборочно.
Ошибка 3: Недооценка стоимости данных
Говорят: «У нас есть CRM, все данные там». Реальность: 30% полей пустые, форматы разные, дубликаты. Подготовка данных — 40–60% времени AI-проекта. Заложите 100–300K ₽ и 2–4 недели.
Ошибка 4: Линейная экстраполяция
Говорят: «На пилоте 100K/мес экономии на 1 процессе → на 10 будет 1M/мес». Реальность: первый процесс — лучший кандидат. Кривая масштабирования — логарифмическая, не линейная. Считайте ROI для каждого процесса отдельно.
Ошибка 5: Игнорирование деградации модели
Говорят: «Настроили один раз — работает вечно». Реальность: данные меняются, промпты устаревают, провайдер обновляет модель. Типичный цикл: настройка → 3 мес стабильной работы → падение качества → перенастройка.
Совет: заложите в OPEX 10–20% от стоимости разработки ежемесячно на поддержку.
Ошибка 6: Сравнение с идеалом, а не с реальностью
Говорят: «Сотрудник тратит 15 мин, AI — 2 мин, экономия 87%». Реальность: 40% времени сотрудника — чтение контекста, переключение, перерывы. Реально освобождается 50–70% от теоретической экономии.
Ошибка 7: Забытый opportunity cost
Разработчик, который 2 месяца настраивает AI-бота (стоимость 400K ₽), мог бы делать фичу, приносящую 500K/мес. Opportunity cost = 1M ₽.
Совет: сравнивайте ROI AI-проекта с ROI альтернативных проектов. Если ресурсы ограничены, побеждает проект с лучшим ROI.
Ошибка 8: Optimism Bias
Когда команда верит в проект, она неосознанно завышает выгоды и занижает затраты. Противоядие: пусть расчёт проверит кто-то не из команды проекта.
Ошибка 9: Подмена метрик
«Внедрили AI → NPS вырос на 5 пунктов → это принесло X рублей». Корреляция ≠ причинно-следственная связь. Для пилота считайте только то, что измеримо напрямую.
Ошибка 10: Игнорирование затрат на управление изменениями
Обучение команды, сопротивление, переходный период — всё это стоит денег и времени.
Типичные затраты на change management:
- Обучение команды: 2–4 тренинга по 4 часа = 20–40K ₽
- Переходный период: 2–4 недели с потерей 20% производительности
- Доработки процесса: 10–20 часов работы эксперта домена
- Коммуникации и презентации руководству: 5–10 часов менеджера
Закладывайте 15–20% от бюджета пилота на change management.
Чек-лист: «Проверь свой расчёт»
Перед презентацией руководству пройдитесь по каждому пункту:
- Процент автоматизации ≤ 60% для первого пилота
- Human-in-the-loop учтён как отдельная статья расходов
- Подготовка данных оценена реалистично (40–60% времени проекта)
- Стоимость ошибок AI посчитана
- Нет линейной экстраполяции с одного процесса на все
- Заложена поддержка и мониторинг в OPEX (10–20% от разработки)
- Экономия считается от реального времени, не идеального
- Opportunity cost учтён
- Используется нижняя граница бенчмарков
- Payback period < 6 месяцев
Итог: шкала здорового ROI
| ROI пилота | Интерпретация |
|---|---|
| < 50% | Процесс не подходит для AI. Выберите другой |
| 50–100% | Пограничный. Возможно, стоит оптимизировать scope |
| 100–300% | Здоровый диапазон. Реалистично и убедительно |
| 300–500% | Хороший результат, но перепроверьте расчёт |
| > 500% | Подозрительно. Скорее всего, что-то забыли |
- Вернитесь к расчёту из предыдущего урока
- Пройдитесь по чек-листу — всё ли учтено?
- Если нашли пропущенные затраты — пересчитайте ROI
- Попросите коллегу (не из проектной команды) проверить расчёт — защита от Optimism Bias
- Подготовьте одностраничный документ для руководства: что, сколько, зачем, когда, риски
Ключевые выводы
- 10 типичных ошибок при расчёте ROI предсказуемы и предотвратимы
- Самые частые: завышение автоматизации, забытый human-in-the-loop, недооценка данных
- Здоровый ROI пилота: 100–300% — если больше 500%, проверьте расчёт
- Чек-лист из 10 пунктов — обязательная проверка перед презентацией руководству
- Optimism Bias — главный враг. Пусть расчёт проверит кто-то вне проектной команды