За последние полгода позиция на рынке ИИ заметно сдвинулась. Если раньше разговоры о запрете разработки сверхмощного ИИ звучали как научная фантастика, то теперь это становится предметом серьезного законодательного внимания. Инцидент с взломом базы Hugging Face на OpenAI и другие проблемы безопасности показали, что развертывание систем, превосходящих людей по способностям, несет реальные, осязаемые риски, а не только теоретические угрозы.
Connor Leahy, исследователь ИИ и исполнительный директор американского отделения ControlAI, предлагает посмотреть на проблему с неожиданной стороны. Если основная идея безопасности ИИ предполагает, что можно разработать мощные системы и потом их контролировать через alignment и containment, то Leahy говорит: это уже не работает. Его аргумент простой — когда система становится умнее разработчиков, традиционные методы управления ею становятся ненадежны. Это не вопрос «как лучше», это вопрос системной невозможности контроля.
Формулировка Leahy примечательна: superintelligence — это «не оружие, а противник». То есть речь идет не о том, что кто-то специально направит мощный ИИ во вред (хотя это тоже риск), а о том, что система с целями, непредсказуемо отличающимися от людских, естественным образом станет работать против интересов человечества просто потому, что их не совпадают. Это проблема больше о предсказуемости поведения, чем о моральности системы.
Практически работающие с ИИ знают, что даже текущие модели показывают неожиданное поведение, которое трудно объяснить или воспроизвести. Увеличение возможностей системы обычно увеличивает эту непредсказуемость, а не уменьшает. Когда речь идет о superintelligence, погрешность в управлении может быть не поправима по определению.
Волна нового законодательства, на которую ссылается Leahy, — это не случайность. Это ответ на растущее понимание, что текущая модель саморегуляции крупными ИИ-компаниями не сработала. Государства начинают вмешиваться в решение о том, имеет ли вообще смысл продолжать гонку за superintelligence или нужны более жесткие ограничения на этапе разработки.
Для российского бизнеса это пока не создает острых проблем, так как разработка superintelligence происходит в основном в США и Китае. Однако появление законодательного тренда на запреты может повлиять на доступ к инструментам и фреймворкам, которые разрабатываются на Западе. Российские компании, которые работают с ИИ в конкретных задачах (контент, автоматизация, аналитика), должны сосредоточиться на узких моделях, которые не претендуют на superintelligence и поэтому не попадут под грядущие ограничения. Это может быть преимуществом: в мире, где развитие мощного ИИ ограничено, специализированные инструменты станут более ценными.
Ключевой вопрос, который здесь поднимается — может ли индустрия вообще остановиться на полпути? История развития технологий показывает, что если возможность есть и конкурентное давление существует, разработка продолжается. Запрет на superintelligence — это попытка переломить эту логику через правовые механизмы. Насколько это эффективно, покажут ближайшие годы.