csylabs.bench
Публичные LLM-бенчмарки
csylabs.bench

Журнал изменений

Что нового в публичных бенчмарках ЛИИ

Короткая продуктовая лента по live-трекам: что вышло на сайте и какие публичные benchmark-артефакты за этим стоят. Это не инженерный лог — только изменения, полезные читателю leaderboard.

  1. Архитектор

    Архитектор-трек вышел на bench.csylabs.com

    В приложение добавлен публичный /architect: 50 реальных architect-задач, ансамбль gemini+gpt51+opus48 и leaderboard с GLM-5.2, Qwen 3.6, Gemma 4 и DeepSeek V4 Flash.

    Источник: apps/bench git: 7cb5a2ee; lii-code-bench-ru CHANGELOG 2026-06-24

  2. RU-модели

    RU-модельная лестница вынесена в отдельный трек

    На /ru опубликован срез открытых моделей на ruAIME-2025 и ruMMLU: точность сравнивается отдельно от скорости, квант указан построчно.

    Источник: apps/bench git: 5972dc20

  3. Архитектор

    Ensemble-board подтвердил практичный выбор

    Ансамбль Gemini+GPT-5.1+Opus поставил GLM-5.2 на первое место (0.809), Qwen 3.6 рядом по качеству, а Gemma 4 31B стала практичным pick за счёт TTFT 1.24s и ₽0.018/solved.

    Источник: lii-code-bench-ru CHANGELOG 2026-06-24

  4. Архитектор

    ЛИИ-Code-Bench-RU переосмыслен как architect-бенч

    Seed вырос с 11 до 29 задач и сместился в профиль founder/architect: стратегия, архитектурные решения, спецификации, research distillation и deal prep.

    Источник: lii-code-bench-ru CHANGELOG 2026-06-23

  5. Sport

    Corpus-building lane масштабирован за 5k gate

    Спортивный корпус доведён до 5870/5907 чистых строк: методология, история, правила, антидопинг и sport-specific источники с PII/license/leakage gates.

    Источник: lii-sport-bench-ru CHANGELOG 2026-05-23

  6. Платформа

    Dual-bench teaser добавил live data в публичное приложение

    apps/bench получил второй публичный слой для сравнения live-треков и зафиксированных JSON-снимков без runtime-запросов к GitHub.

    Источник: apps/bench git: 9c4cedae

  7. Sport

    Первый публичный SportBench-RU опубликован

    v0.1: 655 экспертных спортивных вопросов, 200-Q стратифицированный public sample, 7 моделей и top-3 judge ensemble с открытым disclosure self-judging bias.

    Источник: apps/bench git: 8e2001bb; lii-sport-bench-ru CHANGELOG v0.1

  8. Education

    EduBench-RU перешёл на 3-judge panel

    v0.3 пересчитал 30 моделей тремя судьями; EduLLM-RU 27B остался производственным выбором, а 32B-контроль подтвердил, что архитектура важнее числа параметров.

    Источник: edubench-ru CHANGELOG v0.3

  9. Education

    EduBench-RU добавил российские облачные и self-hosted модели

    v0.2 расширил leaderboard до 28 моделей; EduLLM-RU 27B обошёл все закрытые российские cloud rows в педагогическом домене.

    Источник: edubench-ru CHANGELOG v0.2

  10. Education

    EduBench-RU стартовал как школьный benchmark

    v0.1 зафиксировал 50 prompts по четырём модулям: педагогика, предметное знание, teacher-copilot сценарии и ChuvashBench.

    Источник: edubench-ru CHANGELOG v0.1

Что нового — csylabs.bench