Журнал выпусков

Поправки

Записи добавляются, а не заменяются. Мы подтверждаем получение фактической правки в течение пяти рабочих дней; решение, доказательство и ответ поставщика остаются рядом с выпуском.

2026-10-11 · выпуск 2026-10-11.1

Повторное назначение нейтральных кодов

До первой внешней ссылки на выпуск нейтральные коды российских облачных строк были повторно назначены одной случайной перестановкой. Числовые результаты, цены и методика не менялись; соответствие кодов поставщикам не публикуется.

Дата полученияВыпуск / строкаУтверждениеДоказательствоРешениеПоправкаОтвет поставщикаСтатус
2026-10-08Частный инструментальный контур / контракт инструментовРезультаты с ненумерованным read_file можно трактовать как сравнение редактирования.CHANGELOG lii-code-bench-ru, 08.10: v1 заставлял угадывать номера строк; выпуск v2 передаёт нумерованные строки.Подтверждено: v1 измеряет угадывание нумерации, а не только редактирование.Для новых прогонов выбран контракт v2; старые результаты v1 сохраняются с этим ограничением.Нет.Исправлено в методе

Коротко о методе

Почему близкие строки не получают места

Порог шума выпуска — 0.043 балла, то есть 4.3 пункта индекса качества. Разница меньше этого значения не отделяет одну конфигурацию от другой на этом наборе задач: она может быть разбросом повторных прогонов и оценивания.

Как читать сравнение. Если разница меньше порога, строки остаются в одной статистической группе; это не вывод о том, что одна из них лучше или хуже.

Поправки и метод — План Б для LLM — csylabs.bench