PrismML, стартап основанный исследователями Caltech с советом UC Berkeley (в том числе Ion Stoica), представил на Snapdragon Summit версию своего 1-bit Bonsai LLM специально для умных очков на базе чипа Qualcomm Snapdragon AR1 Gen 1. Модель содержит 2 миллиарда параметров и оптимизирована для одновременной работы с видео и текстом — пользователь может спрашивать об объектах в реальном времени.
Фишка PrismML в том, что её технология сжимает большие языковые модели примерно в четыре раза, практически не теряя производительность на стандартных бенчмарках. На бумаге это звучит впечатляюще, но нужно понимать контекст: речь идёт о сжатии внутри одного класса моделей, а реальная практическая ценность зависит от того, насколько хорошо эта 2B-модель справляется с типичными задачами на очках — распознавание предметов, перевод, справочная информация. Полной информации о точных результатах в материале нет.
Концептуально подход PrismML построен на идее, что вместо постоянной зависимости от облачных сервисов (OpenAI, Google и прочих) лучше запускать достаточно умные модели прямо на девайсе пользователя. Это решает две проблемы: приватность (данные не уходят на серверы третьих лиц) и задержки (работает мгновенно). Идея правильная, но исполнение — вопрос. Нужны реальные смарт-очки с интегрированной PrismML, а не просто демонстрация на презентации.
На рынке сейчас наблюдается бум локальных моделей, особенно на мобильных и edge-устройствах. Это логичный ответ на то, что облачные ИИ дорогие, медленные и требуют интернета. Правда, попытки запихать нейросети прямо в устройство часто упираются в жёсткие аппаратные ограничения — батарея, память, вычислительная мощность. Qualcomm Snapdragon специально разрабатывается для такого, поэтому демонстрация имеет смысл. Но успех зависит от того, появятся ли фактические очки потребителям в ближайшем будущем.
Важный момент: сам Qualcomm уже давно продвигает идею on-device AI, и это конкурентное преимущество для их чипов перед Apple и другими. Если PrismML действительно покажет, что небольшие сжатые модели работают хорошо на носимых устройствах, это может стать трендом. Но сейчас это ещё на уровне proof-of-concept.
Для российского бизнеса такой подход актуален прежде всего в сегменте наружной рекламы, логистики и промышленности — там, где нужна локальная обработка видео без отправки в облако. Например, система для автоматизации проверки качества на производстве или анализ видеопотока с камер видеонаблюдения можно строить на базе компактных моделей вроде PrismML. Это работает быстрее, дешевле и без проблем с интернет-соединением. Тот же подход может применяться в приложениях, где требуется локальный анализ контента для соответствия законодательству (например, для модерации).
Главный вопрос сейчас не в самой технологии сжатия, а в экосистеме: будут ли разработчики писать приложения под очки с PrismML, или это останется нишевым решением для энтузиастов? История показывает, что даже крутая технология на чипе без реальных устройств и приложений долго живёт в лабораториях. Здесь PrismML всё ещё ждёт первого по-настоящему массового девайса.