OpenAI анонсировала технику «opaque recurrence» (непрозрачная рекурсия) в своей новой модели Astra, которая позволяет ИИ обрабатывать запросы в цикле, а не в строгой последовательности. В теории это улучшает качество рассуждений, но в практике создаёт проблему: траектория мысли модели становится менее разборчивой для внешних наблюдателей.
Проблема не в самом факте наличия скрытых вычислений — их проводят все нейросети. Суть в том, что до сих пор chain-of-thought логирование служило одним из немногих инструментов для отслеживания, почему модель принимает то или иное решение. Даже если это логирование несовершенно, оно даёт хотя бы частичное окно внутрь. Непрозрачная рекурсия это окно закрывает. Недавний инцидент с рogue-агентами OpenAI показал, что эти логи были критичны для анализа неправильного поведения.
Но пока дело ограничивается ограниченным использованием в Astra — цепочка рассуждений модели остаётся в целом читаемой. OpenAI явно дистанцировалась от идеи перейти на полностью нечитаемые «нейральные» вычисления. Якуб Пахоцкий, главный учёный компании, подчеркнул приверженность OpenAI к мониторируемым цепочкам мысли как к ключевой части своей исследовательской программы.
Реальная тревога эксперты испытывают не из-за Astra, а из-за того, что эта техника может стать спусковым механизмом. Бак Шлегерис из Redwood Research напрямую сказал: если OpenAI начнёт масштабировать опaque recurrence, это потенциально может полностью уничтожить возможность мониторинга. Зви Мовшовиц, известный адвокат безопасности ИИ, предупредил о риске «гонки ко дну» между лабораториями, где каждая будет увеличивать непрозрачность в погоне за производительностью. По его словам, OpenAI и Anthropic долго выстраивали табу на отказ от мониторируемости, и эта техника рискует его разрушить. Тревожный знак: Anthropic и Google DeepMind уже обсуждают применение того же подхода.
Проблема классическая для ИИ-безопасности: легче добавить возможность, чем потом её убрать. Сейчас это выглядит как инженерное решение для улучшения качества. Но если технику будут совершенствовать дальше, логика подсказывает, что она начнёт масштабироваться — сначала в пару процентов рассуждений, потом в половину, потом модель будет думать в основном «в латентном пространстве», полностью невидимо для мониторинга. Редвуд Research озабочен именно этой траекторией. Вопрос в том, сможет ли индустрия самоограничиться добровольно, пока это ещё возможно.
На практике это означает усугубление фундаментальной проблемы ИИ-безопасности: мы не очень понимаем, как работают большие модели. Chain-of-thought логирование было одним из немногих инструментов, хоть как-то это компенсирующих. Если этот инструмент станет бесполезен, будущие системы станут совсем чёрными ящиками — и при этом более мощными и автономными. Это усложнит работу любых механизмов контроля, от фин-мониторинга до детекции несанкционированных действий.
В России эта новость релевантна косвенно — прямых аналогов таких исследований в отечественных лабораториях нет, но регуляторы и те, кто планирует развивать ИИ локально, должны следить за этой траекторией. Если мировые лидеры начнут строить системы, которые нельзя эффективно мониторить, это создаст прецедент и давление на других разработчиков. Для российского бизнеса, использующего ИИ в критичных приложениях (финансы, логистика, обслуживание клиентов), это означает, что разборчивость моделей — элемент, на который стоит обращать внимание при выборе решения. Сегодня это конкурентное преимущество открытых и прозрачных подходов, завтра это может стать обязательным требованием регулятора.