Kimi K2.5 набрала 4,74 балла против 3,26 у GigaChat — китайские LLM обходят российские на 45%

MySummit протестировала 54 языковые модели на задачах российских менеджеров. Китайская Kimi K2.5 отстаёт от GPT-5.4 на 0,06 балла (в пределах погрешности), а от лучшей российской GigaChat-Ultra — на 1,48. Разница между 4,74 и 3,26 — это ответ который можно показать на совещании против ответа с фактическими ошибками и оборванными предложениями.

Методология: 32 сценария без академических задач

MySummit запустила бенчмарк в 2026 году:

32 сценария на русском языке — бюджетирование, планирование, анализ решений, коммуникация
Промпты написаны как пишет живой менеджер, не ML-инженер
Два LLM-судьи с калибровкой, шкала от 1 до 5
Только модели доступные из России (с VPN и без)

Цель — проверить применимость в реальной работе, а не решение задач по квантовой химии. Полные результаты с интерактивными таблицами на сайте MySummit.

Топ-5 без VPN — все из Китая

Модель	Балл	Цена за 1M токенов
Kimi K2.5 (Moonshot AI)	4,74	—
MiniMax M2.7	4,69	—
MiMo V2 Omni (Xiaomi)	4,62	$0,40
Qwen3.5 Plus (Alibaba)	4,56	—
Qwen3.5 397B (Alibaba)	4,55	—

Для контекста: GPT-5.4 — 4,80 (глобальный лидер), Claude Sonnet 4.5 — 4,78, Gemini 2.5 Pro — 4,46 за $1,25/M токенов. MiMo V2 стоит в три раза дешевле Gemini при сопоставимом качестве.

Российские модели: 40-е места из 54

GigaChat-Ultra — 3,26 балла, 43-е место
YandexGPT Pro 5.1 — 3,13 балла, 45-е место
Alice AI (Yandex) — 3,86 балла, но 40–60% ответов обрываются на середине

Конкретный пример: в тесте на бюджетирование GigaChat начал с Python-кода для арифметики и исключил маркетинг без обоснования. Kimi K2.5 предложил портфельные категории, пороги отказа (CAC > $200 — исключить маркетинг), условную логику. Alice AI просто не дописала ответ.

Claude строит фреймворки, GPT-5 Mini выигрывает в цене

Claude Sonnet 4.5 занял второе место в MySummit, но около 17-го в GPQA Diamond (PhD-задачи). Причина: на задачах менеджера важнее фреймворки принятия решений, а не квантовая химия. В категории «аналитика» Claude доминирует — строит матрицы, деревья условий, системы оценки рисков.

GPT-5 Mini ($0,002 за запрос) показал 4,78 балла в категории «коммуникация» — выше GPT-5.2 Pro. Если задача — написать письмо или подготовить презентацию, премиум-версия не нужна.

Особенности китайских моделей:

MiniMax M2.7 — детальные планы собеседований и управления изменениями, но иногда проскакивают иероглифы в русском тексте
Qwen3.5 Plus — сильна в финансовом анализе, но склонна выбирать политически выгодный вариант вместо менее рискованного

Что это значит для CTO и ML-команды

Если работаете из России без VPN:

Kimi K2.5, MiniMax M2.7 или MiMo V2 укладываются в 0,1–0,2 балла от западных лидеров в каждой категории
MiMo V2 — $0,40/M токенов против $1,25/M у Gemini 2.5 Pro при разнице 0,16 балла

Если нужна аналитика и планирование: Claude даёт систему принятия решений, а не просто ответ. Разница между 4,75 и 3,75 балла — это готовность результата к совещанию.

Если бюджет критичен: GPT-5 Mini за $0,002 не уступает премиум-версиям в коммуникации.

Российские модели пока не подходят для задач где результат идёт напрямую в работу:

GigaChat-Ultra допускает фактические ошибки в цифрах и подменяет контекст (анализирует российский рынок вместо запрошенного)
Alice AI обрывает 40–60% ответов
YandexGPT Pro даёт поверхностные выводы без аргументации

Практический совет: для критичных задач использовать китайские или западные модели, российские — как вспомогательные или для некритичных сценариев.

Источник: Habr — MySummit Benchmark

Kimi K2.5 набрала 4,74 балла против 3,26 у GigaChat — китайские LLM обходят российские на 45%

Похожие статьи

Поделиться в соц. сетях

Комментарии