ЛИИ-Архитектор-Bench-RU: рейтинг LLM для работы архитектора и основателя.
ЛИИ-Архитектор-Bench-RU сравнивает модели на русскоязычных architect-задачах: стратегия, архитектурные решения, спецификации, research distillation и deal prep. Публичный срез: 14 моделей протестировано, 50 реальных задач, 3 судейские модели.
Рейтинг моделей
Основная таблица сортируется по score; pass, tok/s, TTFT и ₽/solved показаны только там, где метрики есть в source-of-truth.
| Место | Модель | Score | Pass | tok/s | TTFT s | ₽/solved |
|---|---|---|---|---|---|---|
| #1 | Закрытая frontier-модель A · уровень рассуждений: средний (по умолчанию)1 NEW 2026-10-03 · bench v1, n=1. Закрытая модель; публикуется по категории — условия API запрещают сравнения под брендом. Наибольший балл, но от модели B её отделяет 0.007, от модели C со средним уровнем рассуждений — 0.043: это на уровне инструментального разброса (0.043), на n=1 порядок не установлен. Сравнение не даёт общего рейтинга поставщиков. | 0,852 | 47/50 | 38,7 | 6,32 | — |
| #2 | Закрытая frontier-модель B · уровень рассуждений: средний (по умолчанию)1 NEW 2026-10-03 · bench v1, n=1. Закрытая модель; публикуется по категории — условия API запрещают сравнения под брендом. Единственная из четырёх строк без провалов по порогу 0.6. В первом проходе 13 из 50 запросов вернулись пустыми по вине маршрута (провайдер отдал пустой ответ и на потоковом, и на повторном запросе); их перегнали теми же судьями, балл приведён после перегона. | 0,845 | 50/50 | 33,6 | 7,86 | ₽0,532 |
| #3 | Закрытая frontier-модель C · уровень рассуждений: высокий (по умолчанию)1 NEW 2026-10-03 · bench v1, n=1. Закрытая модель; публикуется по категории — условия API запрещают сравнения под брендом. Генерирует втрое быстрее A и B, но пишет в 2.6 раза больше токенов, поэтому время на задачу почти то же (14.2 с против 15.5 и 17.4). Один нулевой балл — формат-регулярка в задаче по TypeScript, ответ корректный. | 0,833 | 48/50 | 108,0 | 6,37 | ₽1,490 |
| #4 | Закрытая frontier-модель C · уровень рассуждений: средний1 NEW 2026-10-03 · bench v1, n=1. Закрытая модель; публикуется по категории — условия API запрещают сравнения под брендом. Та же модель C со средним уровнем рассуждений: −0.024 к баллу (внутри разброса), −20% токенов, −17% времени на задачу. Тот же нулевой балл по регулярке. На этой настройке вывод о порядке не установлен. | 0,809 | 46/50 | 104,4 | 4,59 | ₽1,255 |
| #5 | Qwen3.8-Flash-Next · Q3_K_XL · арендованная RTX PRO 6000 NEW 2026-08-28 · bench v1, n=3 (0.797/0.766/0.794). Новая архитектура-превью Qwen4: 125B/6B-active MoE + 51B n-gram embedding + 4B MTP. llama.cpp-only (unsloth-фок PR, у vLLM/SGLang пока нет поддержки новых операций) — реальный операционный минус против текущей продакшн-раскладки. Полный нативный контекст 262144 умещается целиком на карте (73.2 ГБ из 96 ГБ), запас 24.7 ГБ VRAM. Практически неотличимо от продакшн Qwen3.8-27B по баллу (0.786 vs 0.769, разница внутри разброса 0.043), но на 13% быстрее декодом — активируется только 6 из 125B параметров на токен. | 0,786 | 43/50 (среднее) | 79,1 | — | — |
| #6 | Qwen3.8-Flash-Next · Q4_K_XL · арендованная RTX PRO 6000 NEW 2026-08-28 · bench v1, n=3 (0.761/0.795/0.800). Тот же чекпойнт, точнее квант (KLD 0.045 vs Q3's 0.100 по данным unsloth). Тоже влезает в 96 ГБ целиком на полном контексте, но впритык — 93.6 ГБ, запас всего 4.3 ГБ. Статистически неотличим от Q3_K_XL (0.785 vs 0.786) — более точный квант НЕ дал измеримого прироста качества на этом наборе, только съел почти весь запас VRAM. | 0,785 | 44/50 (среднее) | 77,4 | — | — |
| #7 | Qwen3.8-27B · тот же вес по API NEW 2026-08-16 · bench v1. Та же модель, что и продакшн-строка ниже. У модели один провайдер на весь OpenRouter, его P99 по сквозной задержке 788 с. | 0,785 | 44/50 | 15,0 | 134,88 | ₽1,793 |
| #8 | Ornith-1.5-35B-A3B · Q4_K_M GGUF · RTX 5070 Ti 16GB (homelab) NEW 2026-09-08 · bench v1, n=3 (0.793/0.771/0.760). Собственная потребительская RTX 5070 Ti 16 ГБ за ~114 тыс. ₽, не арендованная RTX PRO 6000 за 96 ГБ. GGUF Q4_K_M, llama.cpp, --n-cpu-moe 14 (часть MoE-экспертов offload на CPU — карта не вмещает модель целиком). Обгоняет ту же модель на арендованной карте в NVFP4 (0.732±0.004, строка ниже) на 0.043 — ровно на границе инструментального разброса, то есть «минимум не хуже, возможно лучше» на дешёвом железе. | 0,775 | 44/50 (среднее) | 62,2 | — | — |
| #9 | Qwen3.8-27B · UD-IQ4_XS GGUF · RTX 5070 Ti 16GB (homelab) NEW 2026-09-08 · bench v1, n=1. Тот же чекпойнт, что и продакшн-строка NVFP4 ниже, но заметно более грубый квант (IQ4_XS против NVFP4) на карте в 1/6 объёма VRAM. Статистически неотличимо от продакшена (0.771 vs 0.769±0.007) — квантование не съело качество на этом наборе. | 0,771 | 42/50 | 48,4 | — | — |
| #10 | Qwen3.8-27B · NVFP4 · арендованная RTX PRO 6000 ИСПРАВЛЕНО 2026-08-28 · bench v1, n=3 (0.777/0.765/0.764, разброс всего 0.007 — самый стабильный результат из всех строк). Прежнее значение 0.789/46 было получено на другой раздаче (сторонний unsloth-чекпойнт, MTP выключен, через давно закрытый туннель) и не соответствовало реальному продакшену. Это правильная строка: официальный чекпойнт Qwen3.8-27B-NVFP4A16, MTP включён (num_speculative_tokens=7), делит карту с Ornith-1.5-35B-A3B в проде (utilization 0.56/0.38). Счётчик reasoning-токенов недоступен: vLLM отдаёт трейс, но не разбивку в usage. ₽/задачу не считаю: карта арендована помесячно, маржинальная стоимость запроса близка к нулю, но сама карта — нет. | 0,769 | 41/50 (среднее) | 70,0 | — | — |
| #11 | Ornith-1.5-35B-A3B · NVFP4 · арендованная RTX PRO 6000 NEW 2026-08-28 · bench v1, n=2 (0.729/0.734, разброс 0.004 — крайне стабильно). MoE, активных параметров на токен около трёх. Декод в 3.4 раза быстрее лидеров (238 ток/с vs ~78) при балле на 0.05 ниже — реальный компромисс скорость/качество, не шум. Прогон отдельно от продакшн-конфигурации (полная карта, а не совместно с Qwen). | 0,732 | 42/50 (среднее) | 238,1 | — | — |
| #12 | DeepSeek V4 Flash 0731 NEW 2026-08-16 · bench v1. GA-чекпойнт, 304B/13B-active, MIT. Самая дешёвая строка. Отстала от 28B-модели, которая влезает в одну карту: 166.9 ГБ чекпойнта в две карты по 96 ГБ помещаются только под 32K контекста. | 0,731 | 42/50 | 53,3 | 15,95 | ₽0,032 |
| #13 | DeepSeek V4 Flash 0731 · IQ2_XXS · арендованная RTX PRO 6000 NEW 2026-08-26 · bench v1. 2-битное сжатие экспертов (маршрутизатор и общие эксперты — выше точность). Минус 0.034 балла и минус 7 пройденных задач против той же модели по API на полной точности — реальная цена квантования, не шум. Судьи цитируют конкретное: выдуманные цифры производительности, рекомендация, прямо противоречащая условию задачи. | 0,697 | 35/50 | 66,8 | 8,48 | — |
| #14 | Ornith-1.5-9B · Q4_K_M GGUF · RTX 5070 Ti 16GB (homelab) NEW 2026-09-08 · bench v1, n=3 (0.704/0.639/0.695). Плотная модель, помещается в карту целиком (fp16 KV, без CPU-offload). Обгоняет ту же модель на арендованной карте в fp8 (0.590±0.037, строка ниже) на 0.089 — за пределами объединённого разброса обеих серий, реальный сигнал, не шум. | 0,679 | 38/50 (среднее) | 120,3 | — | — |
| #15 | Ornith-1.5-9B · fp8 · арендованная RTX PRO 6000 ОБНОВЛЕНО 2026-08-28 · bench v1, n=3 (0.554/0.628/0.589). Плотная модель, не MoE. Первый прогон в этой серии (0.466) был испорчен исчерпанием кредита судейского API в середине прогона и не учитывается — с самого начала не входил в среднее. | 0,590 | 30/50 (среднее) | 121,4 | — | — |
| 1 названа по категории — условия API запрещают публикацию сравнений под брендом | ||||||
Основная таблица — только строки на замороженном наборе из 50 задач, поэтому баллы в ней сравнимы между собой. Ансамбль из трёх судей на каждой строке. Инструментальный разброс при одинаковой конфигурации — 0.043: разница меньше этого порога значения не имеет. Пять строк ниже (Qwen3.8-27B на арендованной карте, оба кванта Qwen3.8-Flash-Next, Ornith-1.5-35B-A3B, Ornith-1.5-9B) прогнаны 2026-08-28 по 2-3 раза на идентичной конфигурации — статистика (среднее, стандартное отклонение) указана в столбце «Прогонов»; это первые строки с честной оценкой инструментального разброса, а не однократным измерением. Остальные строки — по одному прогону: этого хватает для решения, но не для публикации как измеренного факта. Во время серии прогонов 28.08 несколько раз ловили временную блокировку судейского API (OpenRouter, всплеск запросов), 403 «Access denied by security policy» на 3-18 задачах одного прогона одновременно у всех трёх судей — не деградация модели: ответы кандидата были содержательными и полными (finish_reason=stop), просто судьи не отвечали. Каждый раз ждали восстановления, пересуживали именно эти задачи и помечали как исправлено. Строки от 2026-08-16 дополнительно пишут манифест провенанса (bench v1): хеш набора задач, sha харнесса, эффективный бюджет вывода, параметры сэмплирования. Что публично сейчас: эта таблица, методика и хеш замороженного набора. Что нет: сами 50 задач, рубрики и сырые ответы — публичный золотой набор можно выучить. Поэтому балл нельзя перепроверить своей рукой, и я этого не обещаю. Полная конфигурация прогона сейчас не публикуется. Четыре строки от 2026-10-03 — закрытые облачные модели, названные по категории; каждая прогнана один раз (n=1) теми же судьями, поэтому разницу меньше 0.043 читайте как равенство. Одна из моделей показана в двух настройках усилия рассуждения: строк 15, моделей 14.
Исторические прогоны (v0, без манифеста)
2026-06-24 — 2026-07-07
| Место | Модель | Score | Pass | tok/s | TTFT s | ₽/solved |
|---|---|---|---|---|---|---|
| — | DeepSeek V4 Flash (preview 0423) 2026-07-07, 50 задач, без манифеста. Предыдущий чекпойнт: пере-пост-тренировка 0731 дала +0.014 — внутри инструментального разброса 0.043, то есть прироста как измеренного факта здесь нет. | 0,717 | 41/50 | 31,7 | 4,72 | ₽0,022 |
| — | GLM-5.2 Корона качества на этом наборе, но 22 с до первого токена — режим «отправь и жди». | 0,809 | 26/29 | 38,4 | 22,43 | ₽0,669 |
| — | Qwen3.6-35B-A3B Прежний value-чемпион: пропускная способность и цена. | 0,779 | 25/29 | 67,1 | 16,80 | ₽0,101 |
| — | Gemma-4-31B Практический выбор на каждый день: почти топ, мгновенный ответ, самый дешёвый. | 0,772 | 27/29 | 23,9 | 1,24 | ₽0,018 |
| — | DeepSeek V4-Pro Крупный открытый якорь; ниже топ-3 на RU-архитектурных задачах. | 0,698 | 19/29 | 39,2 | — | ₽0,260 |
| — | Kimi-K2.6 Дорогой открытый якорь в широком поле. | 0,663 | 20/29 | 40,7 | — | ₽1,080 |
| — | Ведущая RU облачная LLM1 Закрытая RU-облачная базовая линия; публикуется категорией, потому что условия API запрещают брендовые сравнения. | 0,477 | 13/29 | 90,6 | 0,76 | — |
| 1 названа по категории — условия API запрещают публикацию сравнений под брендом | ||||||
Прогнаны до заморозки набора задач и до манифестов провенанса: ни хеша набора, ни sha харнесса, ни зафиксированного бюджета вывода. Часть — на более раннем наборе из 29 задач, часть — на 50. Знаменатель по каждой строке виден в столбце «Прошло». С основной таблицей напрямую не сравниваются и показаны без ранжирования — место не проставлено намеренно — это история, а не конкуренты.
Методология
50 реальных architect-задач замайнены из собственных рабочих сессий Daniel и оценены ансамблем gemini+gpt51+opus48; задача трека — проверить не coding, а качество архитектурно-стратегической работы на русском.
Методика и провенанс
Сейчас публично: сама таблица, методика и хеш замороженного набора задач. Не публикуется: набор из 50 задач, рубрики и сырые ответы — иначе бенч можно выучить. Значит, повторить замер своей рукой нельзя, и я это не обещаю. Полная конфигурация прогона — манифесты, sha харнесса, бюджет вывода, параметры сэмплирования — сейчас не публикуется.
# сейчас публично: таблица + методика + хеш набора
# приватно: 50 задач, рубрики, сырые ответы (защита от переобучения)
# не публикуется: манифесты, sha харнесса, бюджеты, сэмплирование
# seed_sha256: 2012195e… · ensemble: gemini+gpt51+opus48
pnpm --filter @csylabs/bench type-check
pnpm --filter @csylabs/bench build