Рост точности AI-агентов с 12% до 66% за год — это скачок, который нельзя игнорировать. Но вот парадокс: одновременно с этим инциденты выросли на 21%, а доверие остаётся исключением. В сообществе разработчиков и продакт-лидов укрепляется консенсус — полная автономия агентов, даже с высокой точностью, это не вариант. Нужна архитектура с человеком в контуре, и она становится стандартом де факто.

Почему скептицизм обоснован: 66% — это выше, чем были месяц назад, но это не 95%, а отставание от человека на шесть точек означает, что ошибки будут систематическими и дорогостоящими. Операции, которые агентам уже доверяют делать — рефанды, отправка писем, изменение цен, удаление данных — это всё критичные действия. Одна ошибка в цене или отправке письма сотне пользователей может обойтись в репутацию и деньги. Вот почему даже компании с развитой инфраструктурой ML предпочитают многоуровневый контроль.

Практический паттерн, который выкристаллизовался: агент готовит план и скрипт для выполнения, валидирует свой результат, проверяет лимиты (например, размер массового рефанда), а потом ждёт человеческого одобрения перед тем, как запустить. Логирование на каждом шаге — не для красоты, а потому что при инциденте нужно быстро понять, где система сбила. Guardrails по отдельным операциям (количество писем в день, максимальный размер скидки, список доступных команд) становятся практически обязательным требованием при развёртывании.

Текущая статистика про готовность компаний показательна: только 10% позволяют агентам принимать решения прямо сейчас, без человека. Прогноз в три года — 35%. Это не означает, что через три года агенты станут более надёжными на самом деле; это означает, что бизнес, вероятно, пересмотрит соотношение риска и выгоды в некоторых сценариях. Но это не значит, что критичные операции вообще когда-то будут полностью автономными.

Для российского бизнеса эта архитектура особенно актуальна. Если вы внедряете AI-агента для автоматизации тех же рефандов, отправки писем клиентам или управления ценами в каталоге, логика проста: не столько вопрос в том, сможет ли агент это сделать, сколько в том, кто и как будет проверять результат перед выполнением. Для pequeсов помощью модерируемых операций могут служить AI Studio и подобные платформы с встроенными workflows, где этапы одобрения строятся в интерфейсе, не требуя отдельного разработчика на каждую операцию. Для крупнее структур смысл именно в том, чтобы отрегулировать это на уровне бизнес-логики, прежде чем писать code.

Главное, что укладывается в голову: агент, который может совершать операции, — это не замена лидбордам и метрикам обучения моделей, а повод пересмотреть governance. Контроль уже не опция, это требование. И сообщество это осознало не из альтруизма, а из практики: шесть процентов разницы в точности — это реальные деньги на ошибках.

Алексей Мартыненко

Алексей Мартыненко

Главный редактор SPV News

Рост инциденты на фоне улучшения точности показывает простую вещь: даже 66% — это не порог, при котором можно дать агенту ключи от касс. Сообщество уже вышло из фазы «а давайте попробуем» в фазу «как это организовать ответственно». Это здоровый сдвиг. Архитектура с утверждением человеком станет стандартом не потому что это хорошо для инноваций, а потому что это единственный способ, при котором ошибка агента не превращается в инцидент компании.