Рейтинг одинаковый если все 0 или все 1

# 20.11.2018, 21:23:18
alatris alatris	Здравствуйте, У меня после смены данных 16 ноября вне зависимости от того, что я загружаю всегда рейтинг 0.5. Я пробовал загружать свои предсказания, где смесь нулей и единиц, пробовал все нули, пробовал все единицы. Я что-то не понимаю или тут что-то не так? До 16 ноября я получал какие-то результаты и мой рейтинг менялся соответственно.

# 20.11.2018, 21:23:18

alatris alatris

Здравствуйте,

У меня после смены данных 16 ноября вне зависимости от того, что я загружаю всегда рейтинг 0.5. Я пробовал загружать свои предсказания, где смесь нулей и единиц, пробовал все нули, пробовал все единицы. Я что-то не понимаю или тут что-то не так? До 16 ноября я получал какие-то результаты и мой рейтинг менялся соответственно.

# 23.11.2018, 13:17:10
Dmytro Panchenko ( noname )	Советую зайти в телеграмный чат конкурса (https://t.me/mlbootcamp). Там помогут.

# 24.11.2018, 11:54:42
Leonid Zakharov ( leoza )	При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных.

# 28.11.2018, 21:36:40
Евгений Иванов	leoza При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных. Вероятность встретить динозавра - 50% - или встретишь, или нет :)

# 28.11.2018, 21:36:40

Евгений Иванов

leoza
При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных.

Вероятность встретить динозавра - 50% - или встретишь, или нет :)

# 29.11.2018, 16:42:51
Dmytro Panchenko ( noname )	leoza При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных. Это, разумеется, неверно. ROC-AUC случайного ответа распределен нормально с матожиданием 0.5. На текущем конкурсе случайным ответом можно легко взять 0.53-0.54, перебрав несколько сидов. Чтобы получить ROC-AUC 0.5 проще всего отправить все нули или все единицы. Такой сабмит гарантировано даст 0.5, если на лидерборде есть оба класса.

# 29.11.2018, 16:42:51

Dmytro Panchenko

( noname )

leoza
При случайных ответах AUC должен быть равен 0.5, что упрощенно означает, что вы угадываете или неугадываете с вероятностью 50%, что равнозначно случайному набору данных.

Это, разумеется, неверно. ROC-AUC случайного ответа распределен нормально с матожиданием 0.5. На текущем конкурсе случайным ответом можно легко взять 0.53-0.54, перебрав несколько сидов.
Чтобы получить ROC-AUC 0.5 проще всего отправить все нули или все единицы. Такой сабмит гарантировано даст 0.5, если на лидерборде есть оба класса.