Как посчитать ROI AI-агента: метрики и формула пилота

ROI AI-агента нельзя доказать количеством отправленных сообщений. Быстрый бот может создать больше переписки, но не решить больше задач. Экономический эффект появляется, когда меняется измеримый процесс: сотрудники тратят меньше времени, клиент быстрее получает полезный ответ, растёт доля завершённых действий или снижается стоимость ошибки.

Ниже — модель расчёта, которую можно применить к поддержке, продажам и внутреннему сервису.

Сначала определите единицу результата#

Выберите событие, которое имеет бизнес-смысл:

• решённое обращение;
• квалифицированный лид;
• подтверждённая запись;
• найденный сотрудником ответ;
• корректно выполненная операция.

«Диалог с AI» — промежуточное событие. Один диалог может завершиться решением, эскалацией, повторным вопросом или уходом клиента. Эти исходы нельзя считать одинаковыми.

Зафиксируйте базовую линию#

До пилота измерьте хотя бы две–четыре недели текущей работы. Нужны:

• объём обращений по выбранной теме;
• доля успешно завершённых задач;
• время сотрудников;
• медианное время первого полезного ответа;
• повторные контакты по той же причине;
• стоимость инфраструктуры и подрядчиков;
• потери от известных ошибок.

Используйте медиану для времени ответа: несколько очень долгих случаев могут сильно исказить среднее. Если поток зависит от сезона или рекламы, выбирайте сопоставимый период либо контрольную группу.

Разделите выгоды на четыре категории#

Экономия времени#

Посчитайте только реально высвобождённое время, а не длительность всех автоматизированных диалогов. Если оператор всё равно полностью перечитывает и переписывает ответ, экономии может не быть.

Формула за период:

экономия времени = число подходящих задач × сэкономленные минуты на задачу / 60 × стоимость часа

Стоимость часа включает не только оклад, но и налоги, управление, рабочее место и другие расходы, если компания использует полную себестоимость.

Дополнительный результат#

Для продаж это может быть прирост квалифицированных заявок или записей. Считайте маржинальный, а не валовый доход:

эффект продаж = дополнительные целевые действия × конверсия в оплату × маржа

Не приписывайте агенту весь рост, если одновременно менялись реклама, цены или продукт.

Снижение стоимости ошибок#

Сюда входят повторная работа, компенсации, потерянные обращения и время руководителя. Используйте подтверждённую историю, а не гипотетический «репутационный ущерб» без метода оценки.

Стоимость скорости и доступности#

Ответ вне рабочего времени может сохранить лид или снизить ожидание. Эту выгоду стоит считать только при наличии данных: например, по изменению конверсии вечерних обращений относительно базовой линии.

Учтите все затраты#

Полная стоимость пилота включает:

• подписку и потребление модели;
• внедрение и интеграции;
• подготовку и очистку базы знаний;
• разметку тестов;
• время сотрудников на контроль;
• обучение команды;
• сопровождение и обновление источников;
• ожидаемую стоимость инцидентов.

В первый месяц затраты на подготовку обычно выше. Поэтому полезно считать отдельно стоимость пилота и регулярную экономику после стабилизации.

Формула ROI#

Для выбранного периода:

ROI = (подтверждённая выгода − полные затраты) / полные затраты × 100%

Дополнительно рассчитайте срок окупаемости:

срок окупаемости = первоначальные затраты / ежемесячный чистый эффект

Если чистый эффект нестабилен или отрицателен, срок окупаемости не нужно маскировать оптимистичным прогнозом. Лучше сузить сценарий и повторить измерение.

Какие метрики нужны AI-поддержке#

Собирайте набор, а не один показатель:

• доля решения без сотрудника;
• доля решения с первого обращения;
• повторный контакт по той же теме;
• корректность по выборочной разметке;
• правильная и пропущенная эскалация;
• время сотрудника на обращение;
• стоимость решённого вопроса;
• удовлетворённость клиента.

Нельзя повышать автоматическое решение ценой скрытых ошибок. Если бот уверенно даёт неверный ответ и клиент не пишет снова, метрика «повторный контакт» ошибочно выглядит хорошо.

Какие метрики нужны продажам#

Для агента продаж полезны:

• доля диалогов с целевым следующим шагом;
• конверсия в заявку, запись или оплату;
• доля целевых лидов по оценке менеджера;
• время менеджера на квалификацию;
• скорость первого содержательного ответа;
• отказы после передачи;
• ошибки в условиях и рекомендациях.

Привязывайте событие к исходному диалогу, иначе нельзя отделить влияние агента от других источников.

Что дают исследования, а чего не дают#

В полевом исследовании поддержки примерно 5 000 сотрудников AI-помощник увеличил число решённых обращений в час в среднем на 13,8%; эффект был выше у менее опытных сотрудников. Это сильное доказательство для конкретной среды, но не готовый коэффициент для финансовой модели другой компании. Источник: NBER Working Paper 31161.

В эксперименте с 758 консультантами участники с AI на задачах внутри возможностей технологии выполняли на 12,2% больше заданий и работали на 25,1% быстрее, но на одной задаче за границей возможностей чаще ошибались. Это показывает, почему ROI нужно считать вместе с качеством и риском. Источник: Navigating the Jagged Technological Frontier.

Дизайн пилота для честного сравнения#

1. Выберите одну тему и один канал.
2. Зафиксируйте базовую линию.
3. Случайно разделите сопоставимые обращения или используйте чередующиеся периоды.
4. Не меняйте одновременно скрипты, цены и рекламу.
5. Проверяйте качество слепой разметкой, если это возможно.
6. Считайте выгоды и затраты по одной методике.
7. Заранее определите критерии остановки при критической ошибке.

Базу для пилота можно собрать из сайта, документов и FAQ, а ответы проверить до подключения виджета.

Как принять решение после пилота#

Масштабируйте сценарий, если качество не хуже контрольной группы, чистый эффект устойчив, а причины ошибок понятны. Доработайте, если польза видна, но один компонент — например, поиск или эскалация — системно слаб. Остановите сценарий, если цена ошибки превышает подтверждённую экономию.

ROI AI-агента — это не свойство модели и не цифра из чужого кейса. Это результат конкретного процесса, границ, данных и дисциплины измерения.