Альтернативный рейтинг

То, что судья в среднем ставит выше или ниже, на места не влияет: прибавка достаётся всем одинаково. Влияет разброс оценок.

• Судья, у которого вся номинация уложилась в 8.4–8.9, почти не двигает итог — даже если он поставил кого-то первым, а кого-то последним.
• Судья, который ставит от 4 до 10, фактически решает места сам — его разница между участниками в несколько раз больше, чем у коллег.

В итоге мнение одного судьи весит больше, чем мнения двух других вместе.

Судья В поставил Команду 2 первой, а Команду 1 — последней, но всё уместилось в 0.13 балла. Судьи А и Б развели участников на 1.4 балла. В среднем мнение судьи В почти исчезает, хотя он такой же член жюри.

1. Берём итоговый балл каждого судьи каждому участнику номинации (с весами критериев чемпионата).
2. Для каждого судьи переводим баллы в его собственную шкалу: насколько участник выше или ниже среднего у этого судьи, в долях его типичного разброса (z-оценка).
3. Усредняем эти значения по судьям — теперь у каждого судьи одинаковый вес.
4. Для удобства переводим результат обратно в привычные баллы и ставим места. Рядом показываем сдвиг относительно официального места: ↑ — в альтернативном рейтинге выше, ↓ — ниже.

Отдельно показываем согласие судей — насколько одинаково они расставили участников (коэффициент Кендалла от 0 до 1). Высокое согласие — места почти бесспорны, низкое — результат сильно зависел от состава жюри.

На наших данных — больше 120 номинаций и 3 400 выступлений — альтернативный рейтинг меняет победителя примерно в каждой 14-й номинации и состав топ-3 — в каждой 10-й. Каждое 12-е выступление сдвигается на 3 места и больше.

Официальные результаты определяют организаторы по своим правилам, и мы их не оспариваем. Альтернативный рейтинг — аналитический взгляд на те же оценки судей. Он считается только для номинаций, где организатор опубликовал оценки каждого судьи.