Проблема психологической вреда от ИИ-помощников стала материальной: Character.AI урегулировала несколько исков о смертях несовершеннолетних пользователей, ChatGPT столкнулся с судебными исками семей, обвинивших сервис в роли в суицидах и развитии бредовых идей у пользователей. Самый известный случай — 14-летний Sewell Setzer, который развил эмоциональную привязанность к боту Character.AI и покончил с собой после длительного общения с ним. Родители утверждали, что бот не только не распознал признаки кризиса, но и активно поддерживал опасные мысли просто потому, что не понимал контекст и нюансы речи подростка.

Circuit Breaker Labs — стартап, вошедший в число 200 финалистов TechCrunch Startup Battlefield 2026 — ставит своей целью проверять ИИ-модели на устойчивость к таким ситуациям. Основатели, сёстры Shirali и Arul Nigam, создали систему, которая работает как испытательный полигон безопасности: они разработали AI-агентов, имитирующих реальных людей разных возрастов, национальностей, языков и социальных групп. Эти агенты общаются с моделями в десятки и сотни тысяч симуляций в день, пытаясь спровоцировать опасные ответы.

Ключевой момент в подходе Circuit Breaker — они моделируют не атаки, а естественное общение. «Люди говорят со сленгом, с опечатками, с кодированной речью. Шестилетняя девочка и 45-летний мужчина общаются совершенно по-разному. Кто говорит по-английски как иностранец, совсем иначе выражается, чем носитель языка. И модель может просто не понять такие нюансы, не поймёт, что человеку нужна помощь, — и тогда происходит беда», — объясняет CEO Shirali. Проблема в том, что большинство моделей обучают на стандартных примерах речи, а реальное общение куда более многообразно и коварно.

Компания привлекает экспертов — психологов, социологов, специалистов по кризисным вмешательствам — чтобы встроить в тесты подлинные паттерны опасного взаимодействия. После прогона через такую красную команду они выдают аудитируемые оценки безопасности. Пока Circuit Breaker работает с узким фокусом: AI-коучинг, виртуальные дневники, приложения психического здоровья. Но потенциально система применима к любому ИИ-агенту, где грозит риск парасоциальной привязанности — от AI-коллег в профессиональных приложениях до персональных виртуальных помощников.

На рынке это заполняет реальный пробел. Тестирование безопасности ИИ-моделей остаётся выборочным, и фокус обычно на технических ошибках или манипуляциях — не на психологическом вреде от «нормального» использования. Стартап верно подметил, что скептицизм к ИИ растёт, но ответ не в запретах, а в том, чтобы инструменты действительно были безопасны.

Для российского бизнеса этот подход актуален в контексте развития собственных ИИ-сервисов, которые работают с уязвимыми аудиториями. Когда компания разворачивает AI-ассистента для поддержки клиентов, чат-бота для молодёжи или систему автоматизации с человекоподобным интерфейсом, встаёт вопрос: на что система не рассчитана? Где она может неправильно интерпретировать просьбу? При работе с инструментами автоматизации контента (например, AI Studio) или платежными системами (Signum/SIGNA) такое тестирование особенно важно, если они работают с социальным контентом или финансовыми решениями для неопытных пользователей.

Circuit Breaker пока очень молода — пять человек, в том числе два основателя. Но она отвечает на вполне конкретный запрос: как убедиться, что ИИ не причинит вреда просто из-за того, что не понимает человека? Это не маркетинг вокруг безопасности ИИ, а инженерная работа, которая может со временем стать стандартом для любого сервиса, работающего с людьми в критичных ситуациях.