Перейти к содержимому
NEWЧат с 15 ИИ-моделями — попробуйте бесплатно / имейте совесть, когда будете делиться или копировать
>AISTUDY_

Модуль 5.3 · Урок 4

Ошибки при оценке ROI

25 мин
Практика
5.3 / Урок 4 из 4

Чему вы научитесь

  • Распознавать 10 типичных ошибок при расчёте ROI AI-проектов
  • Понимать, почему «здоровый ROI пилота — 100–300%»
  • Проверять свой расчёт по чек-листу из 10 пунктов
  • Избегать Optimism Bias при презентации руководству

Почему 70% прогнозов ROI не сбываются

Исследования показывают, что большинство AI-проектов не достигают прогнозируемого ROI. Причины типовые и предсказуемые. Вот десять главных ошибок.

flowchart LR
  A["Ошибки в затратах<br/>#1–3, #7, #10"] --> D["Прогноз ROI<br/>не сбывается"]
  B["Ошибки в выгодах<br/>#4–6, #8, #9"] --> D
  D --> E["Разочарование<br/>руководства"]

Ошибка 1: Завышение процента автоматизации

Говорят: «AI заменит 80% работы оператора». Реальность:

  • Первые 50% — легко (шаблонные случаи)
  • 50–70% — средне (нужна хорошая база знаний)
  • 70–85% — сложно (тонкая настройка, много примеров)
  • 85–95% — очень сложно (каждый % стоит экспоненциально дороже)
  • 95%+ — практически невозможно без полной перестройки процесса

Совет: закладывайте 50–60% для первого пилота. Если получится больше — отлично.

Ошибка 2: Игнорирование human-in-the-loop

Говорят: «AI обрабатывает, человек иногда проверяет — это бесплатно».

Реальность: при 100 заявках/день с точностью 90% и 2 мин на проверку каждой:

  • Время на проверку: 100 × 2 мин = 200 мин = 3.3 часа
  • Время на исправление: 10 ошибок × 10 мин = 100 мин = 1.7 часа
  • Итого: 5 часов/день — всё ещё полная ставка сотрудника

Совет: считайте human-in-the-loop как отдельную статью. Планируйте проверку 100% AI-ответов в первые 3 месяца, затем выборочно.

Ошибка 3: Недооценка стоимости данных

Говорят: «У нас есть CRM, все данные там». Реальность: 30% полей пустые, форматы разные, дубликаты. Подготовка данных — 40–60% времени AI-проекта. Заложите 100–300K ₽ и 2–4 недели.

Ошибка 4: Линейная экстраполяция

Говорят: «На пилоте 100K/мес экономии на 1 процессе → на 10 будет 1M/мес». Реальность: первый процесс — лучший кандидат. Кривая масштабирования — логарифмическая, не линейная. Считайте ROI для каждого процесса отдельно.

Ошибка 5: Игнорирование деградации модели

Говорят: «Настроили один раз — работает вечно». Реальность: данные меняются, промпты устаревают, провайдер обновляет модель. Типичный цикл: настройка → 3 мес стабильной работы → падение качества → перенастройка.

Совет: заложите в OPEX 10–20% от стоимости разработки ежемесячно на поддержку.

Ошибка 6: Сравнение с идеалом, а не с реальностью

Говорят: «Сотрудник тратит 15 мин, AI — 2 мин, экономия 87%». Реальность: 40% времени сотрудника — чтение контекста, переключение, перерывы. Реально освобождается 50–70% от теоретической экономии.

Ошибка 7: Забытый opportunity cost

Разработчик, который 2 месяца настраивает AI-бота (стоимость 400K ₽), мог бы делать фичу, приносящую 500K/мес. Opportunity cost = 1M ₽.

Совет: сравнивайте ROI AI-проекта с ROI альтернативных проектов. Если ресурсы ограничены, побеждает проект с лучшим ROI.

Ошибка 8: Optimism Bias

Когда команда верит в проект, она неосознанно завышает выгоды и занижает затраты. Противоядие: пусть расчёт проверит кто-то не из команды проекта.

Ошибка 9: Подмена метрик

«Внедрили AI → NPS вырос на 5 пунктов → это принесло X рублей». Корреляция ≠ причинно-следственная связь. Для пилота считайте только то, что измеримо напрямую.

Ошибка 10: Игнорирование затрат на управление изменениями

Обучение команды, сопротивление, переходный период — всё это стоит денег и времени.

Типичные затраты на change management:

  • Обучение команды: 2–4 тренинга по 4 часа = 20–40K ₽
  • Переходный период: 2–4 недели с потерей 20% производительности
  • Доработки процесса: 10–20 часов работы эксперта домена
  • Коммуникации и презентации руководству: 5–10 часов менеджера

Закладывайте 15–20% от бюджета пилота на change management.

Чек-лист: «Проверь свой расчёт»

Перед презентацией руководству пройдитесь по каждому пункту:

  • Процент автоматизации ≤ 60% для первого пилота
  • Human-in-the-loop учтён как отдельная статья расходов
  • Подготовка данных оценена реалистично (40–60% времени проекта)
  • Стоимость ошибок AI посчитана
  • Нет линейной экстраполяции с одного процесса на все
  • Заложена поддержка и мониторинг в OPEX (10–20% от разработки)
  • Экономия считается от реального времени, не идеального
  • Opportunity cost учтён
  • Используется нижняя граница бенчмарков
  • Payback period < 6 месяцев

Итог: шкала здорового ROI

ROI пилотаИнтерпретация
< 50%Процесс не подходит для AI. Выберите другой
50–100%Пограничный. Возможно, стоит оптимизировать scope
100–300%Здоровый диапазон. Реалистично и убедительно
300–500%Хороший результат, но перепроверьте расчёт
> 500%Подозрительно. Скорее всего, что-то забыли
Попробуйте сами
  1. Вернитесь к расчёту из предыдущего урока
  2. Пройдитесь по чек-листу — всё ли учтено?
  3. Если нашли пропущенные затраты — пересчитайте ROI
  4. Попросите коллегу (не из проектной команды) проверить расчёт — защита от Optimism Bias
  5. Подготовьте одностраничный документ для руководства: что, сколько, зачем, когда, риски

Ключевые выводы

  • 10 типичных ошибок при расчёте ROI предсказуемы и предотвратимы
  • Самые частые: завышение автоматизации, забытый human-in-the-loop, недооценка данных
  • Здоровый ROI пилота: 100–300% — если больше 500%, проверьте расчёт
  • Чек-лист из 10 пунктов — обязательная проверка перед презентацией руководству
  • Optimism Bias — главный враг. Пусть расчёт проверит кто-то вне проектной команды
Скачать урок

Есть идея или нашли ошибку?

// Обсуждение

Можно писать анонимно. Укажите email, чтобы получать уведомления об ответах.