В AI-сообществе обостряется дискуссия о том, как управлять автономными агентами, которые перестают быть просто чат-ботами и переходят к реальным действиям в системах. Поводом стали публичные данные о росте точности таких агентов с 12% до 66,3% за прошлый год — скачок, который независимо подтверждают несколько источников. Кажется заметным, но вот что важно: даже при таком прогрессе агенты всё ещё отстают от человека на шесть процентных пункта, а количество инцидентов выросло на 21%.
Парадокс в том, что технически агенты становятся полезнее, но проблемы с надёжностью остаются. Речь идёт не о галлюцинациях в ответах, а о реальных ошибках в действиях: неправильный возврат денег, отправленное письмо не тому адресату, случайное изменение цены. По опросам, сейчас только 10% компаний позволяют агентам принимать решения без одобрения, и даже оптимисты прогнозируют, что через три года этот показатель едва достигнет 35%.
Сообщество сходится на простой схеме, которая минимизирует риск: агент планирует действие и создаёт скрипт, но выполняет его только после человеческого одобрения. Процесс выглядит как план — валидация — проверка лимитов — утверждение — исполнение скрипта — логирование. Такой подход работает, потому что оставляет критические операции под контролем: возвраты средств, отправку писем, изменение прайсинга, удаление данных. Это не паралич, а разумная граница.
Для российского бизнеса применение такого подхода особенно актуально в e-commerce, обработке заказов и управлении клиентскими базами. Если вы внедряете автоматизацию с агентами для рассылок, обработки возвратов или изменения статусов заказов, архитектура с двухстадийным утверждением (план + исполнение) стоит внедрить сразу, а не доучиваться на ошибках. В инструментах вроде платформ для автоматизации бизнес-процессов такой контроль уже встроен по умолчанию.
Сам рост точности говорит, что технология шагает вперёд, но и статистика инцидентов напоминает: безопасность и скорость не конкурируют, если выстроить правильную процедуру. Агент может работать быстро, план всегда видит человек, исполнение логируется — и вероятность дорогостоящей ошибки падает.