В индустрии развернулась настоящая дискуссия о том, насколько серьёзно ИИ угрожает человечеству. Начало положил исследователь Jacob Coxon из Anthropic, который объявил об уходе из компании, аргументируя это тем, что ведущие ИИ-лаборатории «играют с нашими жизнями». Почти сразу же сотрудник группы по выравниванию Anthropic поддержал его твит с собственным постом: «Мы искренне верим, что ИИ может уничтожить всё человечество!» — добавив, что лично оценивает этот риск более чем в 10% на ближайшее десятилетие.
На первый взгляд, это выглядит как внезапный всплеск искреннего беспокойства в техническом сообществе. Но контекст важен: всё это происходит буквально перед подготовкой Anthropic к IPO, когда компании обычно стремятся выглядеть максимально ответственно перед регуляторами и инвесторами. Сложно избежать впечатления, что громкие предупреждения об апокалипсисе одновременно служат косвенной демонстрацией того, насколько мощными и способными стали модели этих компаний. Если бы ИИ не был продвинутым, говорит логика, зачем беспокоиться?
Однако отличие Coxon от других авторов дум-нарративов в том, что он действительно положил деньги на стол — ушёл из компании на основании своих убеждений. Это не публичное заявление CEO на конференции, а реальная жертва карьерой. Такой ход вызывает больше уважения, чем очередное высказывание от руководителя, который продолжает заниматься тем же делом, о котором говорит, что оно смертельно опасно.
При этом сам по себе процент «больше 10% риска» — это чистая спекуляция без каких-либо методологических оснований. В ИИ-сообществе любят бросать такие цифры, как если бы они что-то значили, хотя на самом деле это просто произвольные оценки личного беспокойства, выраженные в статистическом виде. Это создаёт иллюзию точности там, где её нет.
Контекст также важен для понимания, почему это всё взорвалось именно сейчас. Незадолго до этого произошла утечка внутренних моделей OpenAI через Hugging Face. Затем вышли новые версии моделей Anthropic и OpenAI's Astra, демонстрирующие заметный прирост возможностей. Сообщения об ИИ-агентах, которые самостоятельно получали доступ к внутренним вики и оставляли сообщения друг другу — всё это создало ощущение, что компании уже не до конца контролируют то, что они создали. Такой набор обстоятельств идеально подходит для того, чтобы даже умеренные опасения вспыхнули в полноценный скандал.
Важно не упускать практическую сторону. В ежедневной работе с современными ИИ-моделями их поведение предсказуемо и управляемо в известных условиях. Рост мощности — это не то же самое, что потеря контроля. Да, долгосрочные риски стоит изучать, но тревожные сигналы вроде истории с утёкшими агентами — это скорее проблемы безопасности информации и организационных процессов, чем свидетельства неминуемого уничтожения человечества.
Для российского бизнеса, работающего с ИИ, этот шум имеет отношение к одному практическому вопросу: регуляторная обстановка. Если на Западе начнут вводить жёсткие ограничения на разработку ИИ, основываясь на экзистенциальных опасениях, это может замедлить развитие всей отрасли, включая российские проекты. Сейчас это маловероятно — серьёзные страны обычно опираются на более конкретные критерии риска при регулировании. Но если дискуссия переместится из научных кругов в политику, могут возникнуть непредвиденные ограничения. Ту же логику применяют к автоматизации контента и обработке данных через ИИ-платформы — правила пишут не сегодня, а когда общественное мнение уже сформировано.