По данным CNN, этой весной самолёты ВВС США уже находились в воздухе, когда высокопоставленные военные обнаружили критическую ошибку: разведданные для операции против китайского судна полностью основывались на галлюцинации ИИ-чатбота. Согласно докладу аналитика Special Operations Command, на корабле якобы находились компоненты для ядерной программы. На самом деле это было выдуманной информацией, которая едва не привела к международному конфликту.

Цепочка ошибок началась с того, что аналитик запросил чатбот синтезировать открытые данные с засекреченной сигнальной разведкой. Система неправильно идентифицировала груз судна. Затем её же использовали повторно, чтобы отформатировать ошибочные выводы в официальный отчёт, который разошёлся по всем командным каналам. Стандартная процедура, которая в этом случае означала распространение ложной информации вверх по цепочке команды без должной проверки.

Инцидент отражает реальную дилемму, стоящую перед американским военным ведомством. Пентагон активно интегрирует ИИ, чтобы ускорить принятие решений и сохранить превосходство над Китаем. ИИ действительно позволяет сокращать время реакции боевых систем — так называемый «kill chain» работает быстрее. Но та же скорость, которая делает ИИ привлекательным, может позволить галлюцинациям распространяться дальше, прежде чем их заметят люди.

Джейк Стеклер, исследователь GovAI и ветеран армии США, подчеркивает критически важный момент: военные должны понимать неопределённость, заложенную в большие языковые модели. Но это особенно важно для решений, связанных с применением силы — разведка, целеуказание, оперативное планирование. Здесь ошибки имеют смертельные последствия. При этом сам Стеклер не предлагает отказаться от ИИ, а настаивает на том, чтобы добавить больше предохранительных механизмов. Торопливость в внедрении в ущерб безопасности только подорвёт доверие военных к этим инструментам и замедлит их реальное полезное применение.

Это не первый случай, когда ИИ создавал проблемы в критичных сценариях. Растущая популярность этих систем для автоматизации рутинных и даже сложных процессов означает, что они будут применяться везде — в медицине, логистике, управлении. Если система может безответственно отформатировать ошибочные данные в убедительный отчёт, который люди примут на веру просто потому, что он выглядит официально, это проблема везде, не только в военной среде.

Для российского бизнеса урок очевиден: при использовании ИИ для аналитики, планирования или подготовки отчётов нужны обязательные точки проверки, особенно когда результаты влияют на стратегические решения. Например, при автоматизации аналитических процессов через платформы вроде AI Studio ключевые выводы должны проходить через эксперта, а не заноситься в отчёт автоматически. То же касается использования ИИ для синтеза информации из разных источников — скорость полезна, но не за счёт проверки фактов.

Суть проблемы в том, что чатботы не знают, что они не знают. Они генерируют текст, статистически согласованный с тренировочными данными, а не истину. При этом выглядит такой текст убедительно и часто правдоподобно. В военной среде это оказалось опасным, но в любой организации это опасно для качества решений. Нужна культура здорового скептицизма к выходу ИИ — инструмент для ускорения, а не для замены экспертного суждения.