Алгоритм вручения RTX 2080TI

15.03.2019, 11:04:27
Многие задаются вопросом — каким образом организаторы будут вручать RTX 2080TI за задачи SNA Hackathon? 

Отвечаем на часто задаваемые вопросы.

1) Сколько карточек всего будет вручено?
- Всего три карточки.

2) Сколько карточек может быть вручено по одному треку?

- Одна карточка.

3) Если один участник стал победителем в нескольких треках, то сколько карточек он получит?

- Одну. 

4) При возникновении ситуации, описанной в вопросе №3, кому достанется карточка по другому треку?

- Карточка достанется следующему участнику, занявшему следующее место в лидерборде и имеющим минимальную разницу скоров:

N(k) = final_score(i) - final_score(i - 1), где k — номер трека,  final_score (i) — финальный скор (по привату) i участника, final_score (i - 1) — финальный скор участника выше местом, i >= 2.

Победитель тот, у кого N(k) минимальный.

Что это значит другими словами? Представим ситуацию, что участник A занял первое место в первом и во втором треках, соответственно одна карточка уже занята. Чтобы определить кому достанется вторая карточка, необходимо взять final_score победителя и участников, занявших следующие места (вторые) по каждому из двух треков и посчитать разницу. У кого разница минимальна, тот и забирает вторую карточку.

Аналогично, если второе место займет один и тот же пользователь.

5) Какую карточку будут вручать в итоге?

- Оригинал (ссылка).
Отредактировано 15.03.2019, 11:10:19
15.03.2019, 13:20:34
Считаю не совсем честным метод рассчета, метрика ROC AUC при одинаковом улучшении алгоритма имеет разный прирост при разном значении.
Например между качеством 0,52 и 0,55 разница может быть в какой то одной простейшей фиче, а вот между 0,92 и 0,95 в годах работы.
Как говорится критикуешь - предлагай.
Я бы предложил сделать так:
1) Сначала получить скор по всем и определить победителей.
2) если уникальных победителей <3 то посчитать процент пользователей по которым второе место сделал предсказание лучше чем первое место. У кого на втором месте такой процент будет выше, тот заберет вторую карту

Понимаю что рассчет потребует дополнительных усилий, но, думаю так будет честнее, так как, например, в первом конкурсе средние показатели AUC значительно выше.
Отредактировано 15.03.2019, 15:16:24


Зарегистрируйтесь или войдите, чтобы оставить сообщение.