OpenAI объявила о выпуске целого набора инструментов для борьбы с материалами детского сексуального насилия (CSAM). Это не просто очередное обновление безопасности — реакция на растущее давление после нескольких судебных исков и критики, включая оценку Common Sense Media, назвавшей технологии OpenAI «неприемлемым риском» для подростков.

Ключевой элемент — новый классификатор изображений, который может распознавать как реальные, так и сгенерированные ИИ материалы CSAM. OpenAI предоставляет доступ к нему через API избранным компаниям бесплатно. По результатам ранних тестов с партнёрами инструмент сокращает объём работы модераторов на 48% при том же уровне обнаружения абузивного контента — изображения, помеченные классификатором, в два раза чаще действительно оказываются материалами насилия над детьми. Компания разработала классификатор вместе с Национальным центром поиска пропавших и эксплуатируемых детей (NCMEC) и распространяет доступ через Tech Coalition и ROOST.

В самом ChatGPT добавили системные предупреждения: пользователи, пытающиеся получить контент, сексуализирующий детей, теперь видят алерт, получают ссылки на специализированную помощь и автоматически блокируются на 24 часа. Повторные попытки ведут к постоянному удалению аккаунта. Сообщения и рекомендации по этому поведению OpenAI формировала совместно с организациями Protect Children, Lucy Faithfull Foundation и исследователем Университета Тасмании Джоэлем Сканланом, который независимо тестировал эффективность этих предупреждений.

Параллельно компания опубликовала руководства для разработчиков, использующих API OpenAI, по выявлению и предотвращению распространения CSAM. На ранних стадиях тестирования эти руководства помогли нескольким разработчикам внедрить инструменты защиты детей и зарегистрироваться для отправки данных в NCMEC. Для правоохранительных органов OpenAI подготовила отдельный набор — специализированные плагины, инструменты расследования и анализ сложных данных, доступ к которым управляют администраторы программы. Компания также обучает следователей и предоставляет методические руководства.

Контекст этого объявления важен: OpenAI долго игнорировала серьёзные критические замечания по безопасности. Последние месяцы компания активнее реагирует на давление — выпустила safety blueprint, обновила рекомендации по контенту, переобучила модели и даже создала версию ChatGPT для подростков. Однако конкурирующие системы, например Grok, продолжают использоваться для создания сексуализированных изображений людей, включая детей, что показывает, что проблема отнюдь не решена на уровне всей индустрии.

Практически это означает, что контроль над неправомерным контентом в ChatGPT становится жёстче, но главный вопрос — насколько эти инструменты реально срабатывают в боевых условиях и не блокируют ли они по ошибке безвредный контент. Классификатор с 48% сокращением повторной работы модераторов — это хороший знак эффективности, но пока это только данные из контролируемых тестов с партнёрами.

В России эта инициатива имеет косвенное значение. OpenAI и ChatGPT не доступны официально, но люди используют VPN или альтернативные интерфейсы. Российские разработчики, создающие собственные системы на основе открытых моделей или API других поставщиков, могут учесть подходы OpenAI при своей реализации. Руководства для разработчиков, которые OpenAI теперь публикует, — это фактически инструментарий для создания безопасных систем, пригодный и для локального контекста, особенно если речь идёт о платформах с большой аудиторией несовершеннолетних.

Алексей Мартыненко

Алексей Мартыненко

Главный редактор SPV News

OpenAI вынужденно решает то, что должна была решить годы назад. Классификатор с высокой точностью — реальный инструмент, а не маркетинговая уловка, данные по 48% сокращению работы модераторов при сохранении обнаружения выглядят убедительно. Вопрос в масштабе: эти инструменты надёжны при миллионах запросов в день, или они работают только в контролируемых тестах? Вторая проблема — остальная индустрия не спешит принимать аналогичные меры, и это означает, что проблема не решена глобально, только на территории OpenAI.