csylabs.bench

Журнал изменений

Что нового в публичных бенчмарках ЛИИ

Короткая продуктовая лента по live-трекам: что вышло на сайте и какие публичные benchmark-артефакты за этим стоят. Это не инженерный лог — только изменения, полезные читателю leaderboard.

  1. Платформа

    Судьи не менялись: проверка более дешёвых не прошла заранее заданную планку

    Три судьи остаются прежними. Мы проверили более дешёвые версии по критериям, записанным до первого вызова: корреляция ≥ 0,90, сдвиг среднего ≤ 0,03, не больше 5% задач через проходную черту 0,6, цена на задачу минус 30% и лучше. Замена всех трёх (4 набора, 101 ответ) не прошла: корреляция 0,73–0,84, судьи строже примерно на 0,1. Замена одного слота на 960 ответах из 27 прогонов, которых мы не видели, прошла четыре критерия из пяти (корреляция 0,976, сдвиг −0,015, цена −36%), но 6,6% задач пересекли черту при допустимых 5%. Опубликованные оценки не пересчитывались и не менялись.

    Источник: daniel.csylabs.com/en/2026-10-11-judge-refresh-en; lii-code-bench-ru calibrate_judges.py, confirm_gemini_slot.py

  2. Платформа

    Plan B: контекстные состояния измерения и scoped-группы

    В /explorer первичная витрина теперь отделяет конфигурации, не различённые с лучшей измеренной, строки ниже по индексу и недостаточные повторы. Статистические группы выбираются только для активных набора задач и контура доступа; полная лестница остаётся в раскрываемом методе.

    Источник: apps/bench git: fix/explorer-p1-2026-10-10

  3. Архитектор

    DeepSeek V4 Flash 0731 (2-битный, своя карта) и обе модели Ornith — три новые строки

    Ансамбль из трёх судей на всех новых строках, тот же замороженный набор из 50 задач. DeepSeek V4 Flash 0731 на 2-битном сжатии (IQ2_XXS) на своей карте — 0.697, 35/50: минус 0.034 балла и минус 7 задач против той же модели по API на полной точности — реальная цена квантования. Ornith-1.5-35B-A3B (MoE) — 0.729, 42/50, впервые в этом наборе: то же число пройденных задач, что у DeepSeek по API, при декоде в 4.4 раза быстрее. Ornith-1.5-9B — 0.628, 31/50, тоже впервые измерен.

    Источник: csylabs-org/lii-code-bench-ru @ 89fa3ae

  4. Sport

    Sport и Clinical стали семьями внутри существующих вкладок

    Отдельная навигация /domains убрана: спортивные под-бенчи теперь живут во вкладке /sport. Вверху /sport добавлен переключатель «ЛИИ-Спорт-Bench-RU» + «Баскетбол: ассистент тренера (RU)»; под-бенч «баскетбольный ассистент тренера» переехал на /sport/basketball-coach, старые /domains-адреса отдают redirect. Во вкладке /clinical добавлена карточка «Неонатология (RU) — готовится».

    Источник: apps/bench git: bench/ia-family-tabs

  5. RU-модели

    NVFP4 разблокирован для Gemma-4-26B-A4B и плотной Qwen3.6-27B

    Причина обеих ошибок — версия CUDA-тулкита, не баг vLLM. После установки CUDA 12.9 обе модели работают в NVFP4; Gemma-4-26B-A4B вышла в лидеры по ruMMLU. Память при загрузке — 18,16 и 20,0 ГБ, на 24 ГБ впритык, на 16 ГБ не помещается.

    Источник: daniel.csylabs.com/ru/2026-07-07-nvfp4-blackwell-cuda-fix-ru; apps/bench git (data refresh)

  6. Архитектор

    Архитектор-трек вышел на bench.csylabs.com

    В приложение добавлен публичный /architect: 50 реальных architect-задач, ансамбль gemini+gpt51+opus48 и leaderboard с GLM-5.2, Qwen 3.6, Gemma 4 и DeepSeek V4 Flash.

    Источник: apps/bench git: 7cb5a2ee; lii-code-bench-ru CHANGELOG 2026-06-24

  7. RU-модели

    RU-модели вынесены в отдельный трек

    На /ru опубликован срез открытых моделей на ruAIME-2025 и ruMMLU: точность сравнивается отдельно от скорости, квант указан построчно.

    Источник: apps/bench git: 5972dc20

  8. Архитектор

    Ensemble-board подтвердил практичный выбор

    Ансамбль Gemini+GPT-5.1+Opus поставил GLM-5.2 на первое место (0.809), Qwen 3.6 рядом по качеству, а Gemma 4 31B стала практичным pick за счёт TTFT 1.24s и ₽0.018/solved.

    Источник: lii-code-bench-ru CHANGELOG 2026-06-24

  9. Архитектор

    ЛИИ-Code-Bench-RU переосмыслен как architect-бенч

    Seed вырос с 11 до 29 задач и сместился в профиль founder/architect: стратегия, архитектурные решения, спецификации, research distillation и deal prep.

    Источник: lii-code-bench-ru CHANGELOG 2026-06-23

  10. Sport

    Corpus-building lane масштабирован за 5k gate

    Спортивный корпус доведён до 5870/5907 чистых строк: методология, история, правила, антидопинг и sport-specific источники с PII/license/leakage gates.

    Источник: lii-sport-bench-ru CHANGELOG 2026-05-23

  11. Платформа

    Dual-bench teaser добавил live data в публичное приложение

    apps/bench получил второй публичный слой для сравнения live-треков и зафиксированных JSON-снимков без runtime-запросов к GitHub.

    Источник: apps/bench git: 9c4cedae

  12. Sport

    Первый публичный SportBench-RU опубликован

    v0.1: 655 экспертных спортивных вопросов, 200-Q стратифицированный public sample, 7 моделей и top-3 judge ensemble с открытым disclosure self-judging bias.

    Источник: apps/bench git: 8e2001bb; lii-sport-bench-ru CHANGELOG v0.1

  13. Education

    EduBench-RU перешёл на 3-judge panel

    v0.3 пересчитал 30 моделей тремя судьями; EduLLM-RU 27B остался производственным выбором, а 32B-контроль подтвердил, что архитектура важнее числа параметров.

    Источник: edubench-ru CHANGELOG v0.3

  14. Education

    EduBench-RU добавил российские облачные и self-hosted модели

    v0.2 расширил leaderboard до 28 моделей; EduLLM-RU 27B обошёл все закрытые российские cloud rows в педагогическом домене.

    Источник: edubench-ru CHANGELOG v0.2

  15. Education

    EduBench-RU стартовал как школьный benchmark

    v0.1 зафиксировал 50 prompts по четырём модулям: педагогика, предметное знание, teacher-copilot сценарии и ChuvashBench.

    Источник: edubench-ru CHANGELOG v0.1

Что нового — csylabs.bench