Уже несколько сезонов на BETBOOM Streamers Battle действует собственная система рейтинга, и порой именно она становится самой обсуждаемой темой игрового дня на ивенте. Всегда найдется тот, кто недоволен своей высокой оценкой или слишком низким баллом у соперника. Мы решили разобраться, как вообще работает рейтинг BSB, почему он заменил систему MMR и кто выставляет те самые баллы.
Почему просто MMR не работает?
Стримерские турниры в последние несколько лет стали одним из главных трендов профессиональной сцены Dota 2. Порой они аккумулируют зрительский интерес, сопоставимый или даже превышающий показатели тир-1 ивентов регулярного сезона. Однако одним из главных подводных камней формата стримерских турниров всегда был баланс составов. Интерес к ивенту, где победитель уже понятен по ходу группового этапа, естественно, будет падать.
Составление команд на основе капа MMR показало ряд заметных уязвимостей. Во-первых, как говорил Dendi, MMR — это всего лишь цифры. Текущий рейтинг не всегда корректно отображает реальный уровень игрока и его возможное влияние на результат. Во-вторых, порой не у всех участников вообще есть MMR — некоторые давно не заходили в Dota 2 и не проходили калибровку. В-третьих, MMR — это как вес у боксеров: в нужный момент всегда можно немного «скинуть», чтобы пройти взвешивание. К тому же у некоторых участников есть аккаунты с разными рейтингами. Так и возникали ситуации, когда вроде по MMR команды практически идентичны, но их уровень игры при этом просто несопоставим. В итоге весь баланс идет под откос, хотя формально все правила соблюдены.
По словам руководителя отдела организации мероприятий ESforce Дмитрия Протасова, который занимается BETBOOM Streamers Battle, именно подобные сложности при попытке создать баланс составов привели к идее разработать собственную систему оценок игроков, которая бы не зависела полностью от MMR, была более гибкой и точнее отражала реальный потенциал каждого игрока. Так и появился рейтинг BSB.
Как работает рейтинг BSB
Рейтинговая система BSB была введена в 13-м сезоне BETBOOM Streamers Battle. За каждым участником (в том числе потенциальным) закрепляется рейтинг от 10 до 100. Оценка формируется на основе комплексного анализа игровых показателей участника. Сюда входит сразу ряд пунктов: его индивидуальная форма в текущий момент, результаты на предыдущих BETBOOM Streamers Battle, частота игры в Dota 2, опыт на профессиональной сцене и непосредственно MMR — полностью отказываться от него, естественно, не стали.
При этом у каждого критерия нет фиксированного веса. Условно, тот же опыт на профессиональной сцене у двух игроков может быть совершенно разным, и о его оценке можно было бы вести отдельный недельный спор. Поместить все переменные в единую математическую формулу, которая бы учитывала особенности Dota 2, нереально, поэтому без человеческого фактора здесь не обойтись. Тут-то на сцену и выходят оценщики. Они делятся на три категории:
- участники предыдущего турнира;
- приглашенные эксперты;
- капитаны.
И так каждый игрок получает три оценки. Итоговый рейтинг BSB рассчитывается математически и представляет собой среднее арифметическое этих трех оценок. Все три составляющие имеют одинаковый вес, хотя внутри каждой категории предусмотрен свой механизм подсчета.
Например, если с экспертными оценками всё понятно, то вот с оценками участниками самих себя и потенциальных соперников могут возникнуть сложности. Игрок может специально занизить баллы будущим тиммейтам, которых планирует взять в состав, а соперникам, наоборот, завысить, чтобы они вышли за рамки капа очков BSB. Чтобы минимизировать влияние подобных хитростей на объективность рейтинга, организаторы уже ввели меры:
Кроме того, сейчас рейтинг BSB не учитывает оценки, которые капитаны и участники выставляют своим бывшим тиммейтам. Это позволяет если не исключить полностью, то хотя бы минимизировать фактор предвзятости.
Пожалуй, главным преимуществом рейтинга BSB стала так называемая постоянная калибровка. Даже если в одном сезоне игрок получил баллы, которые не особо коррелируют с его реальным перформансом в игре, уже в следующем сезоне это будет исправлено, ведь переоценку проходят все участники BETBOOM Streamers Battle. Получил 30 баллов, а сыграл как JerAx в лучшие годы? Нет проблем, в следующем сезоне твоя оценка будет значительно увеличена. Старому ветерану про-сцены дали высокий балл за былые заслуги, а он перформит на уровне «Властелина»? Не вопрос — его рейтинг будет снижен.
Этот процесс перманентной корректировки позволяет постоянно актуализировать рейтинг BSB, чтобы он всегда отражал реальный расклад сил. Так, например, в первом сезоне самый высокий балл среди участников был у сербского офлейнера ChodΣX. Но его импакт на игру, уровень коммуникации и вообще приспособленность к формату медиатурнира оказались ниже заявленной оценки в 91 балл. Благодаря корректировке он получил более подходящий рейтинг и теперь даже выпал из топ-10 самых высокооцененных участников BETBOOM Streamers Battle.
А судьи кто?
Если с оценщиками из числа капитанов и участников предыдущих ивентов всё понятно, то кто такие «приглашенные эксперты»? В последнем сезоне BETBOOM Streamers Battle по Dota 2 экспертами выступали тренер Евгений Fervian Аксёнов и менеджер BETBOOM TEAM Лука Lukawa Насуашвили.
Несмотря на то что оценка экспертов является лишь одной из трех, что определяют итоговый балл, именно на их плечи ложится задача выдать наиболее объективное резюме по каждому игроку. А это требует довольно серьезной работы. Например, Луке очень помог его опыт, полученный в качестве менеджера:
И если капитаны порой превращают выставление оценок в контент для своих трансляций на Twitch, где больше оценивают душой, то эксперты проделывают действительно серьезную работу, прежде чем выставить баллы. По словам Fervian, работа над оценкой всего одного игрока может занимать до четырех часов и включает в себя сразу несколько этапов:
История с оценкой одного из игроков хорошо показывает, что работа экспертов не ограничивается просмотром реплеев и статистики Dotabuff. Иногда приходится проводить целое расследование.
В прошлом сезоне один из участник предоставил аккаунт с небольшим количеством матчей, только закончивший очередную калибровку. Fervian и Lukawa решили проверить его игровой бэкграунд и нашли несколько старых аккаунтов с профессиональными матчами и тысячами сыгранных игр. Позже выяснилось, что аккаунт действительно принадлежал игроку, но ещё в 2018 году он продал его и завёл новый. При этом в Dota 2 он продолжал играть скорее для удовольствия, а его текущий уровень уже не соответствовал прежним результатам. Чтобы разобраться в ситуации, экспертам пришлось сопоставить данные, изрядно покопаться в истории и уточнить детали у самого участника.
Такая скрупулезная работа помогает точнее оценивать реальный уровень игроков. Конечно, ошибки случаются, но каждая из них помогает найти слабые места системы и сделать рейтинг BSB объективнее в следующих сезонах.
При оценке участника эксперты стараются учесть как можно больше факторов, в том числе те, что выходят за границы именно игровых показателей. Например, Fervian рассказал, что берет в расчет и эффективность коммуникации игроков:
Таким образом получается учесть всё то, что MMR просто не способен передать (даже если с ним намеренно не химичить). Благодаря этому, например, условный Solo, который буквально коллит всю карту, что в формате стримерских ивентов крайне важно, получает высокий балл — 83. А ведь в самой игре он может бегать на Dazzle с десятью смертями.
А кто в топе рейтинга?
Если сначала рейтинг BSB всех участников существовал только в Google-таблицах организаторов, то теперь оценки абсолютно всех игроков, которые когда-либо выступали на BETBOOM Streamers Battle, находятся в общем доступе на сайте турнира — причем как для дотеров, так и для игроков в CS.
Для каждого игрока создана отдельная карточка с наглядным визуалом:
А к старту сезона такие карточки получают и команды-участницы с их суммарным рейтингом BSB на состав. К слову, верхние границы командного рейтинга, за которые нельзя заходить для баланса ростеров, также корректируется между сезонами.
Само собой, в будущих сезонах споры о количестве баллов у того или иного игрока всё равно неизменно будут возникать. В конце концов, это неотъемлемая часть контента, который подпитывает интерес к подобным ивентам. Однако открытость самой системы BSB и ее механизм постоянной калибровки позволяют минимизировать негативный эффект, оставляя поле для контента, но убирая серьезный дисбаланс. И в этом плане показателен последний сезон BETBOOM Streamers Battle, где, с одной стороны, было пространство для споров вокруг состава Daxak, а с другой — зрители получили непредсказуемый финал, в котором этот самый Daxak проиграл.
