Тема не утихает, и вот почему: когда AI становится рутинной, начинаются проблемы. На примере Threads обсуждают реальный сценарий — компания запустила нейросеть в работу с клиентами или данными, но чёткого регламента нет. "Используем ChatGPT где-то в процессе" — вот и весь ответ на вопрос о рисках. Дальше начинаются инциденты: модель утекла конфиденциальная информация, прошла по краю закона, приняла решение, которое нужно было согласовать с человеком, но никто этого не предусмотрел.
В практике это выглядит так: одна компания пустила AI в автоматизацию обработки счётов — казалось бы, рутина. А потом оказалось, что модель иногда видит информацию о клиентах, которую не должна знать, и никто это не проверял. Другая использовала нейросеть для первичного скрининга заявок — и в итоге отфильтровала половину нормальных кандидатов по неявным признакам, которые модель выучила на грязных данных. Третья полагалась на AI в рекомендации по лечению, но забыла, что финальное решение остаётся за врачом, и когда врач просто принял рекомендацию как истину — пошли вопросы.
Суть дискуссии в том, что граница между полезной автоматизацией и проблемой проходит не по наличию AI вообще, а по наличию трёх ясных ответов. Первый: какой информацией имеет доступ модель и насколько это необходимо. Второй: какие действия она может выполнять самостоятельно, а какие только с подтверждением. Третий: в каких ситуациях решение должно принять человек, невзирая на рекомендацию модели. Если эти границы размыты, растёт риск не столько технического сбоя, сколько операционного хаоса и репутационного урона.
В России эта проблема становится острее с ростом внедрения AI в финансовые организации, e-commerce и системы управления. К примеру, если вы используете AI Studio или подобные платформы для автоматизации контента и обработки данных клиентов, нужно чётко описать: модель видит только текст, который вы загружаете, не сохраняет его после обработки, а решение о публикации принимает сотрудник. Или, если вы работаете со смарт-контрактами и платежами, граница между автоматическим выполнением и требованием человеческого одобрения должна быть вписана в сам контракт, а не существовать только в голове разработчика. Банки и регуляторы уже начинают спрашивать об этом при проверках.
Тренд отражает зрелость экосистемы: если раньше внедрение AI было о том, чтобы просто это сделать, то теперь разговор переходит в плоскость управления рисками и ответственности. И это правильный сдвиг — потому что AI как инструмент ничего не решает, если не понимать, какие именно границы вы закладываете в его работу.
Алексей Мартыненко
Главный редактор SPV News
Это не паника по поводу AI, а обучение на уже произошедших ошибках. Компании, которые ввели модель и забыли про неё, потом ловят проблемы в production. Тот же принцип, как с информационной безопасностью пять лет назад: сначала казалось, что это параноя, потом каждая компания прошла через инцидент и признала, что правила нужны.