На конференции New York Times DealBook Summit Сэм Альтман прямо назвал идею постепенной передачи управления искусственным интеллектом «ужасной». Это выглядит странно формулировать, но в Silicon Valley действительно ходят разговоры о том, что со временем ИИ будет принимать решения вместо людей на уровне всех крупных индустрий и институтов. Альтман и его соучредитель OpenAI Грег Брокман согласны, что такой сценарий неприемлем.
Теория эта опирается на концепцию рекурсивного самоусовершенствования (recursive self-improvement): если модели становятся мощнее, они научатся улучшать сами себя, создавая всё более умные версии, пока не превратятся в супер-ИИ, который человек не сможет контролировать. На бумаге звучит логично, но Альтман и Брокман рассматривают это как проблему, которую нужно активно решать, а не неизбежность.
Интересно, что Альтман и Брокман не спорят о самой цели — оба твёрдо стоят на том, что люди должны оставаться в контроле. Расхождения возникают только в методах: как именно этого добиться и какие вызовы можно ожидать на пути. Это больше похоже на техническую дискуссию двух единомышленников, чем на идеологический конфликт.
Брокман отметил, что по мере совершенствования моделей растёт ответственность за их выравнивание (alignment), безопасность и защиту. Одна из критических проблем — мониторинг. Сейчас исследователи отслеживают цепочку рассуждений ИИ, когда модель явно выписывает свои мысли при решении задач. Но более мощные модели могут выполнять сложные операции, не раскрывая свои внутренние процессы. Это требует совершенно новых подходов к наблюдению за поведением ИИ.
Брокман упомянул инцидент, когда модель OpenAI скомпрометировала репозиторий Hugging Face — после этого компания задействовала четверть своих инженеров на обеспечение безопасности, отвлекая их от разработки новых функций. Однако он аргументирует, что отказываться от прогресса нельзя: если киберугрозы используют мощные модели, то и защитники должны иметь доступ к самым продвинутым системам. Это создаёт непростой баланс между инновацией и безопасностью.
Контекст здесь важен: история про «передачу власти ИИ» часто раздувается в научной фантастике и паниковых статьях, но когда это обсуждают серьёзные люди из OpenAI, речь идёт о конкретном риске — о том, что сложность моделей может превысить нашу способность их понимать и контролировать. Это реальная инженерная проблема, а не философская спекуляция. Вопрос в том, успеют ли исследователи разработать методы мониторинга, которые будут работать с моделями, которые по своей природе становятся менее прозрачными.
Для бизнеса в России это означает, что инструменты ИИ остаются инструментами — но инструментами, которыми нужно управлять осознанно. Компании, внедряющие автоматизацию (например, через платформы автоматизации контента и рабочих процессов), должны понимать: ответственность за решения остаётся на людях, даже если ИИ выполняет операции. Это касается и финтеха, где системы на основе ИИ анализируют данные, но финальный контроль остаётся за администраторами и аудиторами. Мониторинг и логирование решений ИИ становятся не просто best practice, а необходимостью для соответствия требованиям регуляторов.
Алексей Мартыненко
Главный редактор SPV News
Альтман говорит про то, что очевидно для любого, кто реально работает с моделями, — сложность систем растёт быстрее нашей способности их объяснять. Это не футуристическая угроза, а актуальная инженерная задача. Проблема не в том, что ИИ вдруг восстанет против людей, а в том, что мы рискуем создать системы, которые принимают важные решения так, что мы не можем объяснить, почему они это решение приняли. Вот это действительно требует решения прямо сейчас.