OpenAI развернула доступ к своему Decisions API, войдя в быстро растущий сегмент моделей, которые решают задачи классификации и выбора несоизмеримо быстрее и дешевле обычных больших языковых моделей. Эту категорию пару месяцев назад создала стартап TypeSafe с моделью Jev, которая почти сразу переоценена инвесторами в $7.6 млрд. OpenAI реагировал быстро: вместо обучения специализированной модели с нуля взял ChatGPT Luna, переконфигурировал под скорость и экономию вычислений — и это сработало.
Суть этого направления прост: нужно не общей интеллект, а дешёвый и очень быстрый логический выбор. Дано несколько вариантов — выбери и скажи, насколько ты в этом уверен. Разработчики обнаружили, что такие модели (их называют System One) вытесняют LLM в куче реальных задач: маршрутизация, классификация, принятие решений в реальном времени. Box, Datadog, Ramp, Speak пробовали Decisions API и сняли в 10 раз ниже: у Speak задержка упала с 1.4 секунд до 0.13 секунды. OpenAI сам использует это для своего голосового ассистента Dots.
Скорость — вот главная фишка. Если обычный LLM отвечает за секунду-три, то Decisions API срезает это до 100-180 миллисекунд. По словам Nikunj Handa, главного product lead по API, если удастся пробить до 60 миллисекунд, откроются совсем дикие кейсы — например, обработка каждого кадра видео. Это не трюк маркетинга, это работающая задача оптимизации: переконфигурировали inferencing, добавили multi-modal поддержку (голос, зрение), расприлили вычисления географически для низкой задержки.
Но вот чего действительно не понимает рынок — как точно измерять качество decision моделей. Есть несколько публичных рейтингов: AIM System One Index, Artificial Analysis Decision Index, и забавная вещь — JevMan, бенчмарк где модели играют в PacMan (классная идея: нужно делать хорошие выборы в несколько сотен миллисекунд). Jev держится конкурентоспособно (третье и седьмое место на основных индексах, а на PacMan вообще первое), OpenAI с Decisions API пока отстаёт (восьмое и четырнадцатое). Liquid с D1 Ultra лидирует на двух из них. Но TypeSafe всё ещё самый популярный на OpenRouter — стандартном агрегаторе API.
Собственно, сама TypeSafe и её CEO Diogo Almeida скептичны к бенчмаркам: говорят, что лучше тестировать на своих задачах, а не верить табличкам. Но сами тоже выпустили свой рейтинг (логично). В целом картина ясна: конкуренция по скорости и цене реальна, каждый месяц кто-то выбросит ещё быстрей, и это хорошо. Это как началась гонка за LLM пять лет назад, только теперь задача ужаснее специализирована.
Для российского бизнеса это тоже практически: любые задачи в реальном времени (рекомендации, роутинг, контроль качества, подбор параметров) теперь можно делать на порядок дешевле и быстрее. Например, в логистике, финтехе, контакт-центрах, маркетинге — там где раньше писали правила или обучали классификаторы на XGBoost, теперь можно взять готовый API и настроить за часы. Инструменты типа AI Studio упрощают интеграцию таких моделей в автоматизацию, платформы вроде Signum позволяют встраивать логику классификации прямо в смарт-контракты для платежей и контроля. Рынок decision моделей еще рано устаканился, но тренд понятен: fast и cheap выигрывают.