Рейтинг одинаковый если все 0 или все 1

20.11.2018, 21:23:18
Здравствуйте,

У меня после смены данных 16 ноября вне зависимости от того, что я загружаю всегда рейтинг 0.5. Я пробовал загружать свои предсказания, где смесь нулей и единиц, пробовал все нули, пробовал все единицы. Я что-то не понимаю или тут что-то не так? До 16 ноября я получал какие-то результаты и мой рейтинг менялся соответственно.
23.11.2018, 13:17:10
Советую зайти в телеграмный чат конкурса (https://t.me/mlbootcamp). Там помогут.
24.11.2018, 11:54:42
При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных.
28.11.2018, 21:36:40
leoza
При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных.
Вероятность встретить динозавра - 50% - или встретишь, или нет :)
29.11.2018, 16:42:51
leoza
При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных.

Это, разумеется, неверно. ROC-AUC случайного ответа распределен нормально с матожиданием 0.5. На текущем конкурсе случайным ответом можно легко взять 0.53-0.54, перебрав несколько сидов.
Чтобы получить ROC-AUC 0.5 проще всего отправить все нули или все единицы. Такой сабмит гарантировано даст 0.5, если на лидерборде есть оба класса.


Зарегистрируйтесь или войдите, чтобы оставить сообщение.