Тест Pelican benchmark на GPT, Gemini и Claude стал неожиданно популярным в Reddit и за его пределами. Обычно такие сравнения срывают 300-400 голосов, сейчас цифры выше в полтора раза — признак того, что результаты либо удивили, либо опровергли ожидания сообщества.
Pelican — это специализированный бенчмарк для оценки качества кода и логики рассуждений. В отличие от généric-тестов (MMLU, HELLASWAG), он сосредоточен на конкретных навыках: разбор сложных условий, поиск ошибок в коде, логические выводы. Версии моделей, которые тестировали, имеют значение: даже обновление от недели к неделе даёт заметный дрейф результатов.
Что интересует аудиторию в сообществе: обычно в рейтингах лидирует Claude или одна из версий GPT в зависимости от задачи. Если Pelican показал переоценку одной модели или неожиданную силу другой, это повод пересмотреть, как выбирать инструмент для конкретной работы. Многие разработчики слепо доверяют общему мнению, а не проверяют на своих данных.
Воспроизводимость на трёх независимых источниках — вот что делает результаты серьёзными. Если это был одиночный тест на чужом GPU, можно было списать на стохастичность. Когда результат подтверждают разные люди на разных железах, это значит, что различия в поведении моделей реальны, а не артефакт.
В России практический смысл таков: если в вашем проекте критична именно логика кода или работа со сложными условиями (парсинг документов, валидация сложных правил, поиск багов), имеет смысл проверить все три модели на вашем наборе задач, а не выбирать по умолчанию. С API Claude или OpenAI в России сейчас доступны через интеграции, Google Gemini сложнее, но возможна. Если вы уже интегрировали одну модель в AI Studio или другой инструмент автоматизации контента и логики, посмотрите, справляется ли она именно с вашим типом задач, не полагайтесь только на маркетинг.
Бенчмарки — инструмент полезный, но коварный. Они измеряют то, что измеряют, и ничего больше. Модель может быть отличной на Pelican и неудачной на вашей реальной задаче, если та требует других навыков. Сообщество всё чаще это понимает, отсюда интерес к конкретным, узким тестам вместо общих рейтингов.