На прошлой неделе американское правительство запустило собственный ИИ-чатбот на платформе America.gov — совместный проект с Google и SpaceX AI. Как и положено государственному инструменту, подвергся немедленному краш-тестированию со стороны интернет-сообщества, ищущего способы заставить его выдать что-то неправильное или неприличное.
Когда пользователи попросили чатбот рассказать о Minecraft, система выдала монолог длиной примерно в 1800 слов, который на первый взгляд выглядит как откровенная галлюцинация ИИ: «Я вижу составителя, о котором вы имеете в виду. Это достигло более высокого уровня. Оно может читать Кодекс федеральных нормативных актов. Оно думает, что мы чатбот». Звучит как полный сбой нейросети, но на самом деле это не так.
Оказалось, что весь текст — это переработка финальной поэмы из Minecraft, которая разворачивается после завершения игры. Автор оригинала — Джулиан Го (Julian Gough). Кто именно встроил этот easter egg в госчатбот, официально неизвестно, но Трамп упомянул в речи, что 20-летний программист Эдвард Кристин был ведущим инженером проекта — имя, которое некоторые помнят под никнеймом «Big Balls» и по его причастности к DOGE Маска.
С одной стороны, государственный ИИ-инструмент, содержащий пасхалки из видеоигр — странное решение. Но с точки зрения информационной безопасности это отличный знак: вместо того чтобы разбредаться в галлюцинациях и выдумывать несуществующие факты, система остаётся под контролем. Чатбот жёстко ограничен в том, что он может сказать, и очевидно, что разработчики оставили себе возможность добавлять контролируемый контент.
Встроённая поэма на самом деле неплохо написана: «республика сказала я вижу тебя. республика сказала ты хорошо подал игру. республика сказала все, что тебе нужно, внутри тебя, и также на USA.gov. республика сказала ты сильнее, чем думаешь, и номер твоего дела остаётся действительным». Это остроумный постмодернистский взгляд на бюрократию и экзистенциальное беспокойство — гораздо более живой текст, чем типичная ИИ-галиматья. Качество намекает на то, что в основе лежит работа настоящего автора, а не просто случайный вывод нейросети.
Для российского бизнеса этот случай показателен тем, что государственные ИИ-инструменты требуют не только технической мощи, но и тщательного контроля над выводом. Если вашему сервису нужна чат-система с жёсткими ограничениями на контент (государственные учреждения, финрегулирование, правоохрана), то полная опора на возникающее поведение LLM — это риск. Нужны либо дополнительные фильтры и валидация ответов, либо предопределённый ответ на критические запросы. America.gov выбрал путём встроенных пасхалок — креативный способ обойти проблему.
В итоге американский госчатбот прошёл первый и главный тест: он не склонен к фундаментальным ошибкам и не выдаёт вредоносный контент даже при провокативных запросах. Вопрос о том, насколько хорошо Трамп разбирается в видеоиграх, уже вторичен.