Странный результат работы функции intersection_over_union

02.07.2019, 21:19:53
Всем привет.
Мне кажется в процедуру подсчета метрика mIOU закралась ошибка - я имею ввиду функцию intersection_over_union из baseline. Если ей передать на проверку абсолютно правильный ответ то она вернет 0 - хотя по идее должна быть 1. Проверьте сами, для примера itemId = 31033:
Xmin = Xmin_true = 47
Ymin = Xmin_true = 963
Xmax = Xmax_true = 48
Ymax = Xmax_true = 963

Если оценка пристанных решений ей же проверяется тогда странные результаты получаться
02.07.2019, 22:11:00
ymin равно ymax, поэтому и ноль
03.07.2019, 00:07:27
German Roev
ymin равно ymax, поэтому и ноль
Ну и что? Результат не правильно написанной функции. Исходя из здравого смысла если два прямоуголтника равны оценка должна равняься 1
03.07.2019, 00:13:45
Роман Казьмин
German Roev
ymin равно ymax, поэтому и ноль
Ну и что? Результат не правильно написанной функции. Исходя из здравого смысла если два прямоуголтника равны оценка должна равняься 1

Виноват - мое не внимание. Все нормально с функцией
03.07.2019, 21:49:13
Нет, правильное замечание. В jupyter-тетрадке с baseline-решение действительно ошибка. Реализация отличается от того, что можно найти по ссылки из описания задачи. Из общих соображений, для пустых прямоугольников значение IoU стоит положить равным единице.

Мне кажется, должен быть официальный комментарий организаторов, которые раскроют референсную реализацию метрики.
Отредактировано 03.07.2019, 21:50:31
03.07.2019, 21:53:16
PapaBoosting
Нет, правильное замечание. В jupyter-тетрадке с baseline-решение действительно ошибка. Реализация отличается от того, что можно найти по ссылки из описания задачи. Из общих соображений, для пустых прямоугольников значение IoU стоит положить равным единице.

Мне кажется, должен быть официальный комментарий организаторов, которые раскроют референсную реализацию метрики.

Тогда любой пустой прямоугольник (в любом месте экрана) будет по метрике подходить к данному предмету. 0 логичнее для этого - никакой из прямоугольников не является подходящим
03.07.2019, 22:14:31
Alexei Larionov
PapaBoosting
Нет, правильное замечание. В jupyter-тетрадке с baseline-решение действительно ошибка. Реализация отличается от того, что можно найти по ссылки из описания задачи. Из общих соображений, для пустых прямоугольников значение IoU стоит положить равным единице.

Мне кажется, должен быть официальный комментарий организаторов, которые раскроют референсную реализацию метрики.

Тогда любой пустой прямоугольник (в любом месте экрана) будет по метрике подходить к данному предмету. 0 логичнее для этого - никакой из прямоугольников не является подходящим
Ага, потому что пересечение будет нулевое. В моём аргументе о пустых прямоугольниках не корректно. Речь о совпадающих прямоугольниках A, B, но сколь угодно малых по площади.

Вообще, корни задачи растут из CV, где работают с пикселями, поэтому, если прямоугольники по сути линии, то IoU запросто может равняться единице.
04.07.2019, 06:16:15
Как вообще в train_answers могут быть прямоугольники 0-ой площади?
А они там есть…

25135 45 1243 45 1243
31033 47 963 48 963
04.07.2019, 06:26:13
Да, если в пикселях, то в принципе может быть правильный ответ и 1 пиксель, но тут какие-то пользователи-снайперы, которые правильно выбрали единственный верный пиксель.
В train_data
941,25135,45,1243,45,1243
1539,25135,45,1243,45,1243
1123,25135,45,1243,45,1243
639,25135,45,1243,45,1243
957,25135,45,1243,45,1243
952,25135,45,1243,45,1243
04.07.2019, 06:58:31
Там еще itemId 31033 с координатами 47, 963, 48, 963. Действительно, странные объекты и сверхаккуратные пользователи. :)


Зарегистрируйтесь или войдите, чтобы оставить сообщение.