Результаты бенчмарков
Точность работы сервисов
Точность работы сервисов age-estimator, gender-estimator и emotion-estimator
Сервис | Точность |
age-estimator | +/- 3,95 лет |
gender-estimator | 95% |
emotion-estimator | 80% |
Точность работы сервиса mask-estimator
Для расчета точности используются следующие метрики:
- Precision (точность): показывает, с какой точностью работает сервис, представляет собой число верных положительных результатов по отношению ко всем положительным результатам.
- Recall (полнота): показывает, насколько полно сервис охватывает верные результаты, представляет собой число верных положительных результатов по отношению ко всем результатам, которые должны быть положительными.
- F1 score - один из способов объединить метрики precision и recall в агрегированный критерий точности. F1 score достигает максимума при полноте и точности, равных единице, и близок к нулю, если один из аргументов близок к нулю. F1 score - среднее гармоническое (с множителем 2, чтобы в случае precision = 1 и recall = 1 иметь F1 = 1).
Метрика | Значение |
Precision | 0,9967532468 |
Recall | 0,9903225806 |
F1 score | 0,9935275081 |
Точность работы сервиса face-detector-liveness-estimator
Для расчета точности используются следующие метрики:
- APCER: показывает долю атак валидационного датасета, которые были классифицированы как реальные биометрические предъявления.
- BPCER: отражает долю реальных биометрических предъявлений, классифицированных как атаки.
Тип изображения | Метрика | Значение |
реальное лицо | BPCER | 0,29981 |
фотография | APCER | 0,04911 |
фотография без заднего фона | APCER | 0,12 |
атака повторного воспроизведения | APCER | 0,01339 |
2D маска | APCER | 0,02888 |
3D маска | APCER | 0,01333 |
примечание
Время запроса в среднем составило 0,3 секунды.
Точность работы модуля liveness-estimator
Тип изображения | Метрика | Значение |
реальное лицо | BPCER | 0,0427664550618109 |
фотография | APCER | 0,117647058823529 |
фотография без заднего фона | APCER | 0,160442600276625 |
атака повторного воспроизведения | APCER | 0,246206896551724 |
2D маска | APCER | 0,0386542591267001 |
3D маска | APCER | 0,0250391236306729 |