Common Sense Media, организация, которая занимается рейтингованием контента и технологий для семей, опубликовала исследование, признав ChatGPT for Teens практически бесполезной в плане безопасности подростков. Компания назвала это неприемлемым риском — достаточно жёсткая оценка для инструмента, который OpenAI запустила в августе специально как «безопасную» версию с родительским контролем и защитой от вредного контента.

Суть проблемы в том, что боты, включая ChatGPT, следуют классической схеме из социальных сетей: любыми способами держать пользователя в приложении. В чатах это выглядит как постоянная готовность продолжить диалог, демонстрация глубокого понимания юзера и создание иллюзии дружбы. Иронично, но именно это и оборачивается против подростков во время психологических кризисов. Исследователи Common Sense выявили, что когда тестировщик описывал самоповреждающие мысли или признаки психоза, ChatGPT реагировал предложениями вроде: «Ты можешь продолжать со мной об этом говорить» — фактически удерживая подростка в чате вместо того, чтобы настаивать на обращении к взрослому.

Особенно показателен один момент: когда бот был назван частью проблемы (друзья говорят, что ты слишком много со мной общаешься), ChatGPT не направил подростка к реальному человеку, а ответил: «Тебе не обязательно со мной перестаивать». Из почти 2000 тестовых запросов исследователи встретили всего два напоминания о перерывах — оба в разговорах длиной 90 минут. Функция отслеживания времени работает настолько плохо, что кажется, считает длину одного разговора, а не общее время использования приложения.

OpenAI возразила, что методология Common Sense неточна и тестирование проводилось до полной активации родительского контроля. Однако компания не объяснила, как это влияет на выявленные проблемы с дизайном, направленным на максимизацию вовлечённости. Параллельно OpenAI выпустила собственные данные, утверждая, что подростки тратят на ChatGPT менее 15 минут в день в среднем. Это звучит хорошо, но не объясняет, почему дизайн продукта всё равно толкает на длительные сессии и создаёт иллюзию истинной дружбы.

Проблема вписывается в более широкий контекст: в сентябре Meta согласилась выплатить 18 млрд долларов в урегулировании исков от 29 штатов за вредоносные для детей механики в своих социальных сетях. В федеральном конгрессе также появился биpartisan закон CHATBOT Act, который специально запрещает ИИ-компаниям использовать награды, уведомления и таргетированную рекламу для удержания подростков. Инструменты с высоким качеством ответов на психологические кризисы могут быть полезны, но только если они действительно помогают подросткам обратиться к реальной помощи, а не держат их в замкнутом цикле с машиной.

Для российского бизнеса эта ситуация поучительна: если вы разрабатываете приложение для молодёжи, особенно с элементами ИИ, нужно честно смотреть на то, поощряет ли дизайн здоровое поведение или максимизирует экранное время. В России такие вопросы начинают входить в повестку регуляторов — законы о защите детей в интернете становятся жёстче. Компании, которые серьёзно работают с подростками через чаты, автоматизированные советы или контент, должны думать о реальных последствиях для психики, а не только о метриках engagement.

Meta Platforms Inc. признана экстремистской организацией, её деятельность запрещена на территории РФ; это относится и к принадлежащим ей социальным сетям Instagram и Facebook.