ЛИИ-Архитектор-Bench-RU: рейтинг LLM для работы архитектора и основателя.
ЛИИ-Архитектор-Bench-RU сравнивает модели на русскоязычных architect-задачах: стратегия, архитектурные решения, спецификации, research distillation и deal prep. Публичный срез: 7 моделей протестировано, 50 реальных задач, 3 судейские модели.
Рейтинг моделей
Основная таблица сортируется по score; pass, tok/s, TTFT и ₽/solved показаны только там, где метрики есть в source-of-truth.
| Место | Модель | Score | Pass | tok/s | TTFT s | ₽/solved |
|---|---|---|---|---|---|---|
| #1 | GLM-5.2 Open-quality lead; quality crown for send-and-wait architecture work. | 0,809 | — | — | 22,40 | — |
| #2 | Qwen3.6-35B-A3B Value champion / throughput lane; strong doc and research categories. | 0,779 | — | — | — | — |
| #3 | Gemma-4-31B Practical daily pick: near-top, instant, concise, cheapest. | 0,772 | — | — | 1,24 | ₽0,018 |
| #4 | DeepSeek V4 Flash NEW 2026-07-07; beats V4-Pro at 4.8× lower price. | 0,717 | 41/50 | 31,7 | 4,72 | ₽0,022 |
| #5 | DeepSeek V4-Pro Open-model anchor; under top-3 on RU architect work. | 0,698 | — | — | — | — |
| #6 | Kimi-K2.6 High-cost open anchor in the wider field. | 0,663 | — | — | — | ₽1,080 |
| #7 | Ведущая RU облачная LLM1 Closed RU cloud baseline; published by category because API terms prohibit branded comparisons. | 0,477 | — | — | — | — |
| 1 названа по категории — условия API запрещают публикацию сравнений под брендом | ||||||
50 реальных architect-задач из собственных сессий Daniel, 3-judge ensemble.
Методология
50 реальных architect-задач замайнены из собственных рабочих сессий Daniel и оценены ансамблем gemini+gpt51+opus48; задача трека — проверить не coding, а качество архитектурно-стратегической работы на русском.
Воспроизводимость
Публичный репозиторий lii-code-bench-ru владеет harness, tasks, raw results и leaderboard. Сайт использует зафиксированный JSON-снимок в монорепозитории.
# source: csylabs-org/lii-code-bench-ru
# result: results/leaderboard-1783428146.md
# ensemble: gemini+gpt51+opus48
pnpm --filter @csylabs/bench type-check
pnpm --filter @csylabs/bench build