Результаты бенчмарков
Тестирование методов распознавания 3DiVi Face SDK
Точность работы методов распознавания по результатам NIST
В таблице представлены показатели точности работы методов распознавания 3DiVi Face SDK по результатам Национального института стандартов и технологий (National Institute of Standards and Technology, NIST):
| NIST Face Recognition Vendor Test (FRVT) 1:1 | Показатель |
| VISA* True Acceptance Rate (@FAR 1E-6) | 99,65% |
| Mugshot* True Acceptance Rate (@FAR 1E-5) | 99,76% |
| Border* True Acceptance Rate (@FAR: 1E-6) | 99,35% |
| WILD* True Acceptance Rate (@FAR 1E-4) | 96,94% |
Нажмите, чтобы ознакомиться с описанием типов изображений из таблицы*
- VISA – полнофронтальные изображения размером 252x300 пикселей. Среднее расстояние между глазами (IOD) составляет 69 пикселей.
- Mugshot – полнофронтальное изображения разных размеров. Среднее значение IOD составляет 113 пикселей.
- Border – изображения сделаны камерой. Возможны различные значения углов наклона и поворота головы. Присутствует сильное фоновое освещение, в результате чего изображение лица затемнено. Присутствует некоторое искажение перспективы из-за съемок с близкого расстояния. Некоторые лица частично обрезаны.
- Wild – множество изображений в стиле фотожурналистики. Разрешение варьируется в очень широких пределах. Углы поворота и наклона головы варьируются. Лица могут быть закрыты, например, волосами и руками.
Точность работы методов распознавания на расширенном LFW датасете с типом изображений Wild
В данном тесте используется расширенный LFW датасет (LFW датасет + наш внутренний датасет), увеличен набор mismatch-пар и исправлены ошибки LFW для точных измерений при низких значениях FAR.
| FAR | 9.300 TAR (%) | 12.30 TAR (%) | 12.50 TAR (%) | 12.100 TAR (%) | 12.1000 TAR (%) |
|---|---|---|---|---|---|
| 1e-4 | 98.7 | 98.9 | 99.2 | 99.4 | 99.5 |
| 1e-5 | 98.0 | 98.1 | 98.7 | 99.1 | 99.4 |
| 1e-6 | 96.6 | 96.7 | 97.9 | 98.5 | 99.3 |
| 1e-7 | 93.2 | 94.3 | 96.3 | 97.5 | 98.9 |
| 1e-8 | 32.2 | 88.0 | 89.5 | 94.1 | 97.7 |
| 1e-9 | 10.5 | 82.0 | 80.9 | 84.9 | 93.9 |
ROC-кривая
Скорость извлечения биометрического шаблона с использованием CPU и GPU
Результаты замеров для ПК (Desktop)
| Method | GPU (NVIDIA GTX 1070) | CPU (Core i5-9400 4.0GHz) |
| 12v1000 | 47 мс | 442 мс |
| 9v300 | 10 мс | 292 мс |
| 12v100 | 8 мс | 49 мс |
| 12v50 | 6 мс | 21 мс |
| 12v30 | 5 мс | 12 мс |
Результаты замеров для мобильных устройств
| Method | CPU (Qualcomm Snapdragon 845) |
| 12v1000 | 7968 мс |
| 9v300 | 1960 мс |
| 12v100 | 801 мс |
| 12v50 | 270 мс |
| 12v30 | 150 мс |
Примечание: тестирование производилось с использованием Google Pixel 3.
Скорость работы методов распознавания на процессоре Core i7 4.5 ГГц*
| Метод распознавания | Создание шаблона (мс) | Идентификация 1:N с ускорением (мс) | Верификация 1:1 (мс) | ||
|---|---|---|---|---|---|
| N = 104 | N = 106 | N = 107 | |||
| 6.7 | 40 (45**) | 0,25 | 12,1 | 126 | 0,04 |
| 7.7 | 170 (180**) | 0,25 | 12,1 | 126 | 0,04 |
| 8.7 | 20 (20**) | 0,25 | 12,1 | 126 | 0,04 |
| 9.30 | 30 | 0,18 | 12,0 | 117 | 0,04 |
| 9.300 | 260 (125***) | 0,18 | 12,0 | 117 | 0,04 |
| 9.1000 | 730 (305***) | 0,18 | 12,0 | 117 | 0,04 |
| 9.30mask | 20 | 0,18 | 12,0 | 117 | 0,04 |
| 9.300mask | 160 (79***) | 0,18 | 12,0 | 117 | 0,04 |
| 9.1000mask | 290 (144***) | 0,18 | 12,0 | 117 | 0,04 |
| 10.30 | 24 (16***) | 0,18 | 12,0 | 117 | 0,04 |
| 10.100 | 40 (24***) | 0,18 | 12,0 | 117 | 0,04 |
| 10.1000 | 690 (355***) | 0,18 | 12,0 | 117 | 0,04 |
| 11.1000 | 865 (425***) | 0,22 | 15,0 | 151 | 0,04 |
| 11.1000 | 865 (425***) | 0,22 | 15,0 | 151 | 0,04 |
| 12.30 | 10*** | 0,20 | 15,0 | 120 | 0,04 |
| 12.50 | 18*** | 0,20 | 15,0 | 120 | 0,04 |
| 12.100 | 41*** | 0,20 | 15,0 | 120 | 0.04 |
| 12.1000 | 412*** | 0,40 | 20,0 | 170 | 0,04 |
* – характеристики указаны для одного ядра процессора
** – время создания шаблона при параметре processing_less_memory_consumption с установленным значением true при вызове метода FacerecService.createRecognizer для создания объекта Recognizer.
*** – время создания шаблона с использованием инструкций AVX2 (Узнайте больше в разделе Распознавание лиц).
Примечания:
- Время ускоренного поиска приведено для
k=1, при больших значенияхkвремя будет увеличиваться до времени поиска без ускорения. - Ускоренный поиск реализован только для методов распознавания 6.5, 6.6, 6.7, 7.3, 7.6, 7.7, 8.6, 8.7, 9.30, 9.300, 9.1000, 10v30, 10v100, 10v1000, 11v1000, 12.30, 12.50 , 12.100, 12.1000 .
- Для достижения этих скоростей шаблоны в индексе дожны быть расположены в порядке их создания (через метод
Recognizer.processingилиRecognizer.loadTemplate). - Для достижения более высоких скоростей можно использовать GPU (Узнайте больше в разделе Использование GPU).
Характеристики памяти
| Метод распознавания | Размер сериализованного шаблона (Байт) | Размер шаблона в оперативной памяти (Байт) | Потребление памяти* (МБ) |
|---|---|---|---|
| 6.7 | 536 | 636 | 105 (85**) |
| 7.7 | 536 | 636 | 195 (163**) |
| 8.7 | 536 | 636 | 52 (40**) |
| 9.30 | 280 | 380 | 155 |
| 9.300 | 280 | 380 | 210 |
| 9.1000 | 280 | 380 | 290 |
| 10.30 | 280 | 380 | 160 |
| 10.100 | 280 | 380 | 180 |
| 10.1000 | 280 | 380 | 270 |
| 11.1000 | 296 | 396 | 480 |
| 12.30 | 230 | 330 | 160 |
| 12.50 | 261 | 361 | 170 |
| 12.100 | 337 | 437 | 180 |
| 12.1000 | 400 | 500 | 440 |
* – количество используемой памяти не зависит от количества созданных объектов Recognizer этого метода.
** – потребление памяти при параметре processing_less_memory_consumption с установленным значением true при вызове метода FacerecService.createRecognizer для создания объекта Recognizer.
Тестирование детекторов 3DiVi Face SDK
Скорость работы детекторов
Core i7 4.5 ГГц (1 ядро)
| Файл конфигурации объекта Capturer | Время детекции (мс) | |||||
|---|---|---|---|---|---|---|
| 640x480, 1 лицо | 640x480, 4 лица | 1280x720, 1 лицо | 1280x720, 4 лица | 1920x1080, 1 лицо | 1920x1080, 4 лица | |
| common_capturer4_fda.xml | 13 | 25 | 34 | 49 | 81 | 103 |
| common_capturer4_fda_with_angles.xml | 282 | 387 | 260 | 356 | 273 | 370 |
| common_capturer4_mesh.xml | 18 | 47 | 39 | 72 | 87 | 735 |
| common_capturer4_mesh_with_angles.xml | 291 | 415 | 268 | 383 | 281 | 398 |
| common_capturer_blf_fda_auto.xml | 6-30 | 12-36 | 8-32 | 14-38 | 19-44 | 26-51 |
| common_capturer_blf_fda_back.xml | 30 | 36 | 32 | 38 | 44 | 51 |
| common_capturer_blf_fda_front.xml | 6 | 12 | 8 | 14 | 19 | 26 |
| common_capturer_refa_fda_a.xml | 644 | 650 | 512 | 518 | 580 | 586 |
| common_capturer_uld_fda.xml (min_size=150) | 12 | 18 | 13 | 19 | 21 | 28 |
| common_capturer_uld_fda.xml (min_size=90) | 58 | 70 | 60 | 73 | 77 | 91 |
| common_capturer_uld_fda.xml (min_size=50) | 253 | 272 | 253 | 273 | 281 | 302 |
| common_capturer4_fda_singleface.xml | 16 | - | 51 | - | 123 | - |
| common_capturer4_mesh_singleface.xml | 23 | - | 58 | - | 129 | - |
GPU
| Конфигурационный файл | Время детекции (мс) | |||||
|---|---|---|---|---|---|---|
| 640x480, 1 лицо | 640x480, 4 лица | 1280x720, 1 лицо | 1280x720, 4 лица | 1920x1080, 1 лицо | 1920x1080, 4 лица | |
| common_capturer_blf_fda_auto.xml | 4-5 | 10-12 | 6-8 | 13-14 | 17-20 | 24-27 |
| common_capturer_blf_fda_back.xml | 5 | 12 | 8 | 14 | 20 | 27 |
| common_capturer_blf_fda_front.xml | 4 | 10 | 6 | 13 | 17 | 24 |
| common_capturer_refa_fda_a.xml | 236 | 240 | 229 | 235 | 170 | 176 |
| common_capturer_uld_fda.xml (min_size=150) | 4 | 10 | 5 | 11 | 13 | 20 |
| common_capturer_uld_fda.xml (min_size=90) | 14 | 21 | 17 | 23 | 26 | 34 |
| common_capturer_uld_fda.xml (min_size=50) | 27 | 34 | 27 | 35 | 47 | 49 |
Примечание: Время работы может значительно меняться в зависимости от содержания изображения.
Перечень файлов конфигурации объекта Capturer:
Нажмите, чтобы ознакомиться с описанием файлов конфигурации объекта Capturer
| Файл | Детектор | Набор точек | Углы (roll/yaw/pitch) | Описание и применение |
| common_capturer4_fda.xml | lbf | fda | [-30;30][-60;60][-60;60] | Детектор фронтальных лиц. |
| common_capturer4_fda_with_angles.xml | lbf | fda | [-90;90][-60;60][-60;60] | Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. |
| common_capturer4_fda_with_angles_noise.xml | lbf | fda | [-90;90][-60;60][-60;60] | Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума. |
| common_capturer4_fda_singleface.xml | lbf | fda | [-30;30][-60;60][-60;60] | Детектируется только одно фронтальное лицо. |
| common_capturer4_fda_singleface_with_angles.xml | lbf | fda | [-90;90][-75;75][-60;60] | Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. |
| common_capturer4_fda_singleface_with_angles_noise.xml | lbf | fda | [-90;90][-75;75][-60;60] | Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума. |
| common_capturer4_lbf.xml | lbf | doublelbf | [-30;30][-60;60][-60;60] | Детектор фронтальных лиц. |
| common_capturer4_lbf_singleface.xml | lbf | doublelbf | [-30;30][-60;60][-60;60] | Детектируется только одно фронтальное лицо. |
| common_capturer4_mesh.xml | lbf | mesh | [-30;30][-60;60][-60;60] | Детектор фронтальных лиц. Позволяет получить 3D маску лица. |
| common_capturer4_mesh_with_angles.xml | lbf | mesh | [-90;90][-60;60][-60;60] | Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Позволяет получить 3D маску лица. |
| common_capturer4_mesh_with_angles_noise.xml | lbf | mesh | [-90;90][-60;60][-60;60] | Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума. Позволяет получить 3D маску лица. |
| common_capturer4_mesh_singleface.xml | lbf | mesh | [-30;30][-60;60][-60;60] | Детектируется только одно фронтальное лицо. Позволяет получить 3D маску лица. |
| common_capturer4_mesh_singleface_with_angles.xml | lbf | mesh | [-90;90][-75;75][-60;60] | Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. Позволяет получить 3D маску лица. |
| common_capturer4_mesh_singleface_with_angles_noise.xml | lbf | mesh | [-90;90][-75;75][-60;60] | Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. подходит для изображений с высоким уровнем шума. Позволяет получить 3D маску лица. |
| common_capturer_blf_fda_front.xml | blf | fda | [-70;70][-90;90][-70;70] | Детекция крупных изображений лиц (т.е. лицо занимает большую часть кадра). Подходит для детекции лиц в масках. |
| common_capturer_blf_fda_back.xml | blf | fda | [-70;70][-90;90][-70;70] | Детекция нескольких лиц, либо небольших изображений лица. Подходит для детекции лиц в масках. |
| common_capturer_blf_fda_auto.xml | blf | fda | [-70;70][-90;90][-70;70] | Детекция лиц разного размера (требуется указать в конфигурационном файле параметры `resolution_width` и `min_face_size`). Подходит для детекции лиц в масках. |
| common_capturer_refa_fda_a.xml | refa | fda | [-70;70][-90;90][-70;70] | Детектор лиц, рекомендуемый для использования в экспертных системах. Обеспечивает детекцию лиц с наибольшим покрытием углов поворота и максимальным качеством (в т.ч. в масках). |
| common_capturer_uld_fda.xml | uld | fda | [-70;70][-90;90][-70;70] | Детекция лиц разного размера. Подходит для детекции лиц в масках. |
| common_video_capturer_fda.xml | lbf | fda | [-30;30][-60;60][-60;60] | Видеотрекер фронтальных лиц (работает только с цветными изображениями). |
| common_video_capturer_lbf.xml | lbf | singlelbf | [-30;30][-60;60][-60;60] | Видеотрекер фронтальных лиц (работает только с цветными изображениями). |
| common_video_capturer_mesh.xml | lbf | mesh | [-30;30][-60;60][-60;60] | Видеотрекер фронтальных лиц (работает только с цветными изображениями). Позволяет получить 3D маску лица. |
| fda_tracker_capturer.xml | lbf | fda | [-30;30][-60;60][-60;60] | Видеотрекер фронтальных лиц. |
| fda_tracker_capturer.w.xml | lbf | fda | [-30;30][-60;60][-60;60] | Видеотрекер фронтальных лиц. Предназначен для детекции лиц при низком качестве освещения. Вероятность ложных детекций при этом немного выше. |
| fda_tracker_capturer_mesh.xml | lbf | fda | [-30;30][-60;60][-60;60] | Видеотрекер фронтальных лиц. Позволяет получить 3D маску лица. |
| fda_tracker_capturer_fake_detector.xml | lbf | fda | [-30;30][-60;60][-60;60] | Детекция происходит быстрее за счет работы одного фиттера (без детектора). Работает только на лицах, занимающих большую часть изображения. |
| fda_tracker_capturer_blf.xml | blf | fda | [-30;30][-60;60][-60;60] | Видеотрекер фронтальных лиц. Подходит для детекции лиц в масках. |
| fda_tracker_capturer_refa_a.xml | refa | fda | [-70;70][-90;90][-70;70] | Видеотрекер фронтальных лиц. Предназначен для использования в экспертных системах. Обеспечивает детекцию лиц с наибольшим покрытием углов поворота и максимальным качеством (в т.ч. в масках). |
| fda_tracker_capturer_uld_fda.xml | uld | fda | [-70;70][-90;90][-70;70] | Видеотрекер фронтальных лиц. Позволяет детектировать лица разного размера. Подходит для детекции лиц в масках. |
| manual_capturer_fda.xml | lbf | fda | [-30;30][-60;60][-60;60] | Требует указания точек глаз вручную. На основании точек глаз рассчитываются остальные точки на лице. |
| manual_capturer_mesh.xml | lbf | mesh | [-30;30][-60;60][-60;60] | Требует указания точек глаз вручную. На основании точек глаз рассчитываются остальные точки на лице. Позволяет получить 3D маску лица. |
Скорость работы детекторов с использованием CPU и GPU
В таблицах ниже представлены измерения скорости для модулей Face SDK с использованием CPU и GPU.
| Детектор | GPU (NVIDIA GTX 1080 Ti) | CPU (Core i7-7700K 4.4GHz) |
| ULD | 35мс | 200мс |
| BLF | 14мс | 38мс |
| REFA | 235мс | 518мс |
Скорости указаны для детекции 4-х лиц на изображении с разрешением 1280x720.
Точность определения атрибутов лица
| Атрибут | Точность |
| Пол | 95% |
| Эмоции | 80% |
| Возраст | 3.95 лет (средняя погрешность) |
| Нет маски на лице | 99% |
| Есть маска на лице | 97% |