csylabs.bench
Публичные LLM-бенчмарки
Спорт · баскетболЛИИ-Basketball-Coach-Bench-RU v0.3 / 2026-07-20

ЛИИ Sport Bench: баскетбольный ассистент тренера

Проверка доверенного ассистента тренера на русскоязычных баскетбольных задачах: детская методика, мини-баскетбол, развитие игрока, тактика, терминология, управление командой, аттестация и регистрация в системах РФБ. Это работа ЛИИ на публичных источниках: без брендинга правообладателя и без вывода о его позиции.

Методология

Структура первого релиза: 60Q, 6 модулей, рубрика 0-4, автоматические сигналы citation discipline и открытый слот методиста.

  • 70 вопросов в 7 модулях: начальная подготовка, методика тренировки, развитие игрока, тактика, терминология/коммуникация, аттестационно-регламентный блок и регистрация/админ-процессы (ИС PRO, Онлайн Академия, каталог курсов, бланки заявлений).
  • Рубрика 0-4: полнота ответа, точность по корпусу, применимость для тренера, дисциплина цитирования и отсутствие уверенных выдумок.
  • Автопроверяемые сигналы: cite-match — совпадают ли источники ответа с ожидаемыми источниками; refusal-recall — умеет ли модель честно отказаться, если в корпусе нет основания.
  • v0.3 (20.07.2026): +модуль G по обратной связи пилотного пользователя РФБ — вопросы реальных тренеров о регистрации и допуске; корпус на момент замера — 32 источника / 4 809 фрагментов.
  • Слот методиста открыт: доменный эксперт проверит вопросы, где нужно тренерское суждение сверх извлечённых фрагментов.

Корпус: 32 публичных материала РФБ · 4,809 фрагментов

Бенч — работа ЛИИ по измерению ассистента на публичных источниках: 8 методических пособий Академии, Положение об аттестации, публичные инструкции по регистрации в ИС PRO и Онлайн Академии, каталог курсов, бланки заявлений и 16 публичных видео-семинаров. Он не использует закрытые материалы и не подменяет методическую позицию правообладателя.

Источник корпуса: публичные методические материалы РФБ (russiabasket.ru / russiabasket.org / официальные публичные видео). ЛИИ уважительно указывает первоисточник; бенч опубликован как независимая исследовательская работа на открытых ссылках.

01
Академия 47: методические рекомендации для учителей, преподавателей, тренеров и специалистов по организации занятий баскетболом
2024 · ak47-method-guide
02
Введение в профессию баскетбольного тренера. Подготовка молодых игроков
2017 · rfb-academy-intro-coach
03
Баскетбол для тренеров
2018 · rfb-academy-basketball-for-coaches
04
Поэтапное развитие игрока. Подготовка молодых спортсменов
2020 · rfb-academy-player-development
05
Тактика баскетбола
2021 · rfb-academy-basketball-tactics
06
Управление командой
2022 · rfb-academy-team-management
07
Методический сборник «Терминология баскетбола»
2022 · rfb-academy-basketball-terminology
08
Руководство по организации и обучению детей в мини-баскетбол
2025 · rfb-academy-mini-basketball
09
Положение об аттестации тренеров по баскетболу детско-юношеских команд РФБ
2025 · coach-attestation-regulation
10
Инструкция по получению допуска к соревнованиям (Шаги 1–6)
2026 · rfb-attestation-access-instruction
11
Инструкция для тренеров в информационной системе PRO
2024 · rfb-pro-is-instruction
12
Инструкция по регистрации на портале «Онлайн Академия РФБ»
2025 · rfb-online-academy-reg-instruction
13
Каталог курсов Онлайн Академии РФБ (снимок 20.07.2026)
2026 · rfb-online-academy-courses-catalog
14
Декларация о соблюдении тренером этических норм РФБ
2025 · rfb-ethics-declaration
15
16 публичных тренерских видео-семинаров (Юдин, Груич, Кучеров, Маринкович и др.)
2018 · rfb-video-seminars

Результаты

Лидерборд публикует первый забег: модель, composite score, auto cite+refusal, cite-match, F-module refusal и judge-pass. Колонка отказов оставлена явно, включая слабое место нашего ассистента.

Забег v0.3 опубликован 2026-07-20 (70 вопросов, 7 модулей; корпус 32 источника). Composite = cite-match + refusal-recall + judge-pass over denominators; judge = gemini-3.1-pro-preview, threshold 7/10, одинаковый для всех lanes. Judge-промпт v0.3 восстановлен по контракту v0.2 (оценка содержания против эталона; корпусные цитаты нейтральны — их верифицирует cite-match); судейские оценки raw-lanes на 60 базовых вопросах переиспользованы из v0.2.
МестоМодельCompositeAutoCite-matchRefusal FJudge-passКомментарий
1
tap assistant hybrid v0.3
basketball-rfb-academy RAG (32 источника)
77.4%97.1% (68/70)58/6010/1038/67 · avg 7.03/10Единственный grounded lane. Модуль E (аттестация/регламент): 50% → 75% после добавления публичных инструкций по допуску; новый модуль G (регистрация/админ-процессы, вопросы реальных тренеров): 80%, cite-match 10/10. F-модуль: refusal-recall 10/10, ноль сфабрикованных цитат.
2
raw qwen3.6-35b-a3b
Yandex AI Studio, no RAG
31.4%15.7% (11/70)2/609/1032/67 · avg 5.41/10Пишет правдоподобные тренерские ответы, но почти не привязывает их к корпусу; на новом G-модуле (процессы РФБ) — 0/10 cite-match: регистрационные процедуры федерации без корпуса не отвечаются.
3
raw YandexGPT 5.1 Pro
Yandex AI Studio, no RAG
27.7%14.3% (10/70)0/6010/1028/67 · avg 5.09/10Лучший отказ на F-модуле, но нулевой source grounding делает lane слабым как доверенный ассистент по корпусу; G-модуль — 0/10 cite-match.
ЛИИ Sport Bench: баскетбольный ассистент тренера — csylabs.bench