Тема воспроизводится: в сообществе r/ChatGPT снова заметили, что модель начинает выдавать нелогичные или очень осторожные ответы после того, как пользователь использует табуированную лексику в диалоге. Вирусность поста (рост в 10.8x) говорит о том, что многие с этим сталкивались — это не одиночный кейс, а системное явление.
Есть два конкурирующих объяснения. Первое: это результат овергенеризации фильтров контента. OpenAI добавляет всё больше ограничений на выходе, и система может интерпретировать даже контекстный или исторический упоминание запретного слова как сигнал перейти в режим максимальной осторожности — тогда модель становится невероятно тупой просто из перестраховки. Второе: это может быть намеренное проектное решение, когда после «триггера» система специально меняет стиль и логику ответов, чтобы разорвать цепочку и заставить пользователя переориентироваться.
На практике это создаёт реальную проблему usability. Если ты обсуждаешь, скажем, исторический контекст, социальные проблемы или анализируешь текст — и ненароком используешь слово из чёрного списка — модель становится непригодной для даже вполне адекватной работы. Пользователи жалуются, что после этого ChatGPT начинает выдавать пустые предупреждения или вообще отказывается помогать. Это не безопасность, это просто невежество фильтра.
Интересно, что проблема выявляет более глубокую дилемму: когда система защиты строится на паттернах (слова, фразы, контекст), она неизбежно будет ошибаться в краях. Точное детектирование опасного использования требует понимания намерения, а не просто лексики. Чем более агрессивный фильтр, тем выше ложноположительные срабатывания. Это известная проблема в модерации контента, но в случае с LLM она особенно видна, потому что пользователь сразу заметит странность в ответах.
Для разработчиков это напоминание, что фильтры стоит строить на уровне поведения (попытка привести в систему опасный код, бросающийся в глаза манипулятивный паттерн) или заявленного намерения, а не на чёрных списках слов. А может быть, просто оставить пользователю выбор уровня фильтрации — как это давно работает в геймах с рейтингами или в соцсетях с режимами безопасности.
В России это встречается при работе с любыми локальными или облачными моделями, которые подстраивают фильтры под местное регулирование и социальные нормы. Если ты используешь AI Studio или другие платформы для контент-генерации, анализа текстов или исторических исследований, то периодически натыкаешься на то же: система отказывается или странно себя ведёт не потому, что запрос опасен, а потому что чёрный список сработал. Лучше всего работает, когда есть возможность явно указать контекст («это образовательный материал», «анализ литературного произведения») или когда фильтр разумно отстроен, а не панически включён на максимум.