RU-модели — liveRU-Model-Ladder / 2026-07-08
RU-модели: сравнение открытых LLM на русских бенчах.
Открытые модели от 4B до 35B на RTX PRO 6000 (Blackwell): ruAIME-2025 (олимпиадная математика) и ruMMLU из MERA (знание). Сравнивается точность, не скорость; квант указан построчно.
Рейтинг моделей
Сортировка по ruMMLU (знание); ruAIME — вторая колонка (математика). Квант и тип весов — построчно.
| Место | Модель | ruMMLU | ruAIME | Квант | Тип |
|---|---|---|---|---|---|
| #1 | Gemma-4-26B-A4B google/gemma-4-26b-a4b | 0,828 | 0,733 | NVFP4 | Open |
| #2 | Qwen3.6-27B qwen/qwen3.6-27b | 0,816 | 0,733 | NVFP4 | Open |
| #3 | Qwen3.6-27B qwen/qwen3.6-27b | 0,816 | 0,833 | bf16 | Open |
| #4 | Gemma-4-12B google/gemma-4-12b | 0,810 | 0,700 | fp8 | Open |
| #5 | Qwen3-32B qwen/qwen3-32b | 0,800 | 0,533 | bf16 | Open |
| #6 | T-pro-2.0 t-tech/T-pro-it-2.0 (опубл.) | 0,790 | 0,646 | — | Anchor |
| #7 | Qwen3-14B qwen/qwen3-14b | 0,777 | 0,467 | bf16 | Open |
| #8 | Gemma-4-E4B google/gemma-4-e4b | 0,769 | 0,467 | bf16 | Open |
| #9 | Qwen3.6-35B-A3B qwen/qwen3.6-35b-a3b | 0,736 | 0,800 | NVFP4 | Open |
| #10 | Qwen3-8B qwen/qwen3-8b | 0,718 | 0,667 | bf16 | Open |
| #11 | Gemma-4-26B-A4B google/gemma-4-26b-a4b | 0,701 | 0,567 | QAT-GGUF | Open |
| #12 | Qwen3-4B qwen/qwen3-4b | 0,657 | 0,400 | bf16 | Open |
Полный прогон завершён. NVFP4 для плотной 27B и Gemma-26B-A4B разблокирован 2026-07-08 — см. пост.
Источник данных
Зафиксированный JSON-снимок в монорепозитории. Смешанная точность указана построчно; сравнивается точность, не скорость. Полный разбор — в посте на daniel.csylabs.com.
Воспроизводимость
Единый харнес (ruAIME + MERA ruMMLU) на RTX PRO 6000. Полный разбор методологии и багов NVFP4 на Blackwell — в посте.
# сравнение открытых RU-моделей: ruAIME + ruMMLU
# RTX PRO 6000 (Blackwell), смешанная точность построчно
# разбор: daniel.csylabs.com/ru/2026-07-07-open-models-blackwell-nvfp4-ru