Перейти к основному содержимому
Версия: 3.20.2

Результаты бенчмарков

Тестирование методов распознавания Face SDK​

Точность работы методов распознавания по результатам NIST​

В таблице представлены показатели точности работы методов распознавания Face SDK по результатам Национального института стандартов и технологий (National Institute of Standards and Technology, NIST):

NIST Face Recognition Vendor Test (FRVT) 1:1Показатель
VISA* True Acceptance Rate (@FAR 1E-6)99.70%
Mugshot* True Acceptance Rate (@FAR 1E-5)99.76%
Border* True Acceptance Rate (@FAR: 1E-6)99.75%
Нажмите, чтобы ознакомиться с описанием типов изображений из таблицы*
  • VISA – полнофронтальные изображения размером 252x300 пикселей. Среднее расстояние между глазами (IOD) составляет 69 пикселей.
  • Mugshot – полнофронтальное изображения разных размеров. Среднее значение IOD составляет 113 пикселей.
  • Border – изображения сделаны камерой. Возможны различные значения углов наклона и поворота головы. Присутствует сильное фоновое освещение, в результате чего изображение лица затемнено. Присутствует некоторое искажение перспективы из-за съемок с близкого расстояния. Некоторые лица частично обрезаны.

Точность работы методов распознавания на расширенном LFW датасете с типом изображений Wild​

В тесте используется расширенный LFW датасет (LFW датасет + наш внутренний датасет), увеличен набор mismatch-пар и исправлены ошибки LFW для точных измерений при низких значениях FAR.

ROC-кривая​

FAR9.300 TAR (%)12.30 TAR (%)12.50 TAR (%)12.100 TAR (%)12.1000 TAR (%)
1e-4 98.7 98.9 99.2 99.4 99.5
1e-5 98.0 98.1 98.7 99.1 99.4
1e-6 96.6 96.7 97.9 98.5 99.3
1e-7 93.2 94.3 96.3 97.5 98.9
1e-8 32.2 88.0 89.5 94.1 97.7
1e-9 10.5 82.0 80.9 84.9 93.9

img.png

Ошибки распознавания для наиболее актуальных методов (12vX)​

Скорость извлечения биометрического шаблона с использованием CPU и GPU​

Результаты замеров для ПК (Desktop)​

Метод распознаванияGPU (NVIDIA GTX 1070)CPU (Core i5-9400 4.0GHz)
12v100047 мс442 мс
9v30010 мс292 мс
12v1008 мс49 мс
12v506 мс21 мс
12v305 мс12 мс

Результаты замеров для мобильных устройств​

Метод распознаванияCPU (Qualcomm Snapdragon 845)
12v10007968 мс
9v3001960 мс
12v100801 мс
12v50270 мс
12v30150 мс

Примечание. Тестирование производилось с использованием Google Pixel 3.

Скорость работы методов распознавания на CPU​

Метод распознаванияСоздание шаблона (мс)Идентификация 1:N с ускорением (мс)Верификация 1:1 (мс)
N = 104 N = 106 N = 107
6.7 40 (45**) 0,25 12,1 126 0,04
7.7 170 (180**) 0,25 12,1 126 0,04
8.7 20 (20**) 0,25 12,1 126 0,04
9.30 55 0,18 12,0 117 0,04
9.300 402 0,18 12,0 117 0,04
9.1000 1092 0,18 12,0 117 0,04
9.30mask 38 0,18 12,0 117 0,04
9.300mask 263 0,18 12,0 117 0,04
9.1000mask 469 0,18 12,0 117 0,04
10.30 44 0,18 12,0 117 0,04
10.100 71 0,18 12,0 117 0,04
10.1000 1061 0,18 12,0 117 0,04
11.1000 1396 0,22 15,0 151 0,04
12.30 23*** 0,20 15,0 120 0,04
12.50 37*** 0,20 15,0 120 0,04
12.100 79*** 0,20 15,0 120 0.04
12.1000 647*** 0,40 20,0 170 0,04

* – Характеристики указаны для одного ядра процессора.
** – Время создания шаблона при параметре processing_less_memory_consumption с установленным значением true при вызове метода FacerecService.createRecognizer для создания объекта Recognizer.
*** – Время создания шаблона с использованием инструкций AVX2 (Узнайте больше в разделе Распознавание лиц).

Примечания:

  • Время ускоренного поиска приведено для k=1, при больших значениях k время будет увеличиваться до времени поиска без ускорения.
  • Ускоренный поиск реализован только для методов распознавания 6.5, 6.6, 6.7, 7.3, 7.6, 7.7, 8.6, 8.7, 9.30, 9.300, 9.1000, 10v30, 10v100, 10v1000, 11v1000, 12.30, 12.50 , 12.100, 12.1000 .
  • Для достижения этих скоростей шаблоны в индексе дожны быть расположены в порядке их создания (через метод Recognizer.processing или Recognizer.loadTemplate).
  • Для достижения более высоких скоростей можно использовать GPU (Узнайте больше в разделе Использование GPU).

Характеристики памяти​

Метод распознаванияРазмер сериализованного шаблона (Байт)Размер шаблона в оперативной памяти (Байт)Потребление памяти* (МБ)
6.7 536 636 105 (85**)
7.7 536 636 195 (163**)
8.7 536 636 52 (40**)
9.30 280 380 155
9.300 280 380 210
9.1000 280 380 290
10.30 280 380 160
10.100 280 380 180
10.1000 280 380 270
11.1000 296 396 480
12.30 230 330 160
12.50 261 361 170
12.100 337 437 180
12.1000 400 500 440

* – Количество используемой памяти не зависит от количества созданных объектов Recognizer этого метода.
** – Потребление памяти при параметре processing_less_memory_consumption с установленным значением true при вызове метода FacerecService.createRecognizer для создания объекта Recognizer.

Тестирование детекторов Face SDK​

Скорость работы детекторов​

Файл конфигурацииВремя детекции (мс)
640x480, 1 лицо640x480, 4 лица1280x720, 1 лицо1280x720, 4 лица1920x1080, 1 лицо1920x1080, 4 лица
common_capturer_blf_fda_auto.xml9-43 17-52 17-50 17-55 33-69 25-57
common_capturer_blf_fda_back.xml43 52 50 55 67 57
common_capturer_blf_fda_front.xml9 17 17 17 33 25
common_capturer_refa_fda_a.xml1001 996 777 792 864 858
common_capturer_uld_fda.xml (min_size=150)19 28 24 29 36 30
common_capturer_uld_fda.xml (min_size=90)88 97 93 100 109 102
common_capturer_uld_fda.xml (min_size=50)377 385 375 385 402 397
safety_city_q1.xml99 107 100 112 110 117
safety_city_q2.xml376 383 379 385 399 393
remote_identification_q1.xml1000 1001 773 791 863 858
remote_identification_q2.xml44 51 50 55 66 56
access_control_system_one_face_q1.xml44 52 50 56 66 56
access_control_system_one_face_q2.xml43 52 50 55 67 55
access_control_system_one_face_q3.xml88 96 94 98 107 102
access_control_system_several_faces_q1.xml1004 1007 773 788 863 858
access_control_system_several_faces_q2.xml87 95 92 98 106 101
common_capturer4_fda.xml23 35 49 108 94 143
common_capturer4_fda_with_angles.xml481 697 414 768 312 410
common_capturer4_mesh.xml27 60 57 142 102 175
common_capturer4_mesh_with_angles.xml492 732 424 788 321 443
common_capturer4_fda_singleface.xml31 - 60 - 112 -
common_capturer4_mesh_singleface.xml34 - 68 - 120 -

Примечание. Время работы может значительно меняться в зависимости от содержания изображения.

Перечень файлов конфигурации объекта Capturer:​

Нажмите, чтобы ознакомиться с описанием файлов конфигурации объекта Capturer
ФайлДетекторНабор точекУглы (roll/yaw/pitch)Описание и применение
common_capturer4_fda.xmllbffda[-30;30][-60;60][-60;60]Детектор фронтальных лиц.
common_capturer4_fda_with_angles.xmllbffda[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы.
common_capturer4_fda_with_angles_noise.xmllbffda[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума.
common_capturer4_fda_singleface.xmllbffda[-30;30][-60;60][-60;60]Детектируется только одно фронтальное лицо.
common_capturer4_fda_singleface_with_angles.xmllbffda[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы.
common_capturer4_fda_singleface_with_angles_noise.xmllbffda[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума.
common_capturer4_lbf.xmllbfdoublelbf[-30;30][-60;60][-60;60]Детектор фронтальных лиц.
common_capturer4_lbf_singleface.xmllbfdoublelbf[-30;30][-60;60][-60;60]Детектируется только одно фронтальное лицо.
common_capturer4_mesh.xmllbfmesh[-30;30][-60;60][-60;60]Детектор фронтальных лиц. Позволяет получить 3D маску лица.
common_capturer4_mesh_with_angles.xmllbfmesh[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Позволяет получить 3D маску лица.
common_capturer4_mesh_with_angles_noise.xmllbfmesh[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума. Позволяет получить 3D маску лица.
common_capturer4_mesh_singleface.xmllbfmesh[-30;30][-60;60][-60;60]Детектируется только одно фронтальное лицо. Позволяет получить 3D маску лица.
common_capturer4_mesh_singleface_with_angles.xmllbfmesh[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. Позволяет получить 3D маску лица.
common_capturer4_mesh_singleface_with_angles_noise.xmllbfmesh[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. подходит для изображений с высоким уровнем шума. Позволяет получить 3D маску лица.
common_capturer_blf_fda_front.xmlblffda[-70;70][-90;90][-70;70]Детекция крупных изображений лиц (т.е. лицо занимает большую часть кадра). Подходит для детекции лиц в масках.
common_capturer_blf_fda_back.xmlblffda[-70;70][-90;90][-70;70]Детекция нескольких лиц, либо небольших изображений лица. Подходит для детекции лиц в масках.
common_capturer_blf_fda_auto.xmlblffda[-70;70][-90;90][-70;70]Детекция лиц разного размера (требуется указать в конфигурационном файле параметры `resolution_width` и `min_face_size`). Подходит для детекции лиц в масках.
common_capturer_refa_fda_a.xmlrefafda[-70;70][-90;90][-70;70]Детектор лиц, рекомендуемый для использования в экспертных системах. Обеспечивает детекцию лиц с наибольшим покрытием углов поворота и максимальным качеством (в т.ч. в масках).
common_capturer_uld_fda.xmluldfda[-70;70][-90;90][-70;70]Детекция лиц разного размера. Подходит для детекции лиц в масках.
common_video_capturer_fda.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц (работает только с цветными изображениями).
common_video_capturer_lbf.xmllbfsinglelbf[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц (работает только с цветными изображениями).
common_video_capturer_mesh.xmllbfmesh[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц (работает только с цветными изображениями). Позволяет получить 3D маску лица.
fda_tracker_capturer.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц.
fda_tracker_capturer.w.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц. Предназначен для детекции лиц при низком качестве освещения. Вероятность ложных детекций при этом немного выше.
fda_tracker_capturer_mesh.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц. Позволяет получить 3D маску лица.
fda_tracker_capturer_fake_detector.xmllbffda[-30;30][-60;60][-60;60]Детекция происходит быстрее за счет работы одного фиттера (без детектора). Работает только на лицах, занимающих большую часть изображения.
fda_tracker_capturer_blf.xmlblffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц. Подходит для детекции лиц в масках.
fda_tracker_capturer_refa_a.xmlrefafda[-70;70][-90;90][-70;70]Видеотрекер фронтальных лиц. Предназначен для использования в экспертных системах. Обеспечивает детекцию лиц с наибольшим покрытием углов поворота и максимальным качеством (в т.ч. в масках).
fda_tracker_capturer_uld_fda.xmluldfda[-70;70][-90;90][-70;70]Видеотрекер фронтальных лиц. Позволяет детектировать лица разного размера. Подходит для детекции лиц в масках.
manual_capturer_fda.xmllbffda[-30;30][-60;60][-60;60]Требует указания точек глаз вручную. На основании точек глаз рассчитываются остальные точки на лице.
manual_capturer_mesh.xmllbfmesh[-30;30][-60;60][-60;60]Требует указания точек глаз вручную. На основании точек глаз рассчитываются остальные точки на лице. Позволяет получить 3D маску лица.

Тестирование процессинг-блоков Face SDK​

Скорость работы детекторов лиц​

Модификация Версия Версия Face SDK Параметры по умолчанию Время детекции CPU (мс)*
640x4801280x7201920x1080
uld13.19precision_level=1, confidence_threshold=0.7, coarse_confidence_threshold=0.37 7 8
precision_level=2, confidence_threshold=0.7, coarse_confidence_threshold=0.337 38 40
precision_level=3, confidence_threshold=0.7, coarse_confidence_threshold=0.3194 187 197
ssyv13.19confidence_threshold=0.5, iou_threshold=0.5151 150 152
246 46 47
396 94 96
43.201517 1506 1502
ssyv_light13.2411 11 12
blf_front13.19confidence_threshold=0.67, iou_threshold=0.53 5 9
blf_back111 13 18
* - CPU Intel Xeon E5-2683 v4 (1 ядро)

Скорость работы детекторов тел​

Тип Модификация Версия Версия Face SDK Время детекции CPU (мс)*
640x4801280x7201920x1080
HUMAN_BODY_DETECTORssyv13.19238 236 237
OBJECT_DETECTORssyx13.192095 2031 2036
* - CPU Intel Xeon E5-2683 v4 (1 ядро)

Скорость работы и точность оценки лиц​

Модификация Версия Версия Face SDK Время детекции CPU (мс)* Время детекции GPU (мс)** Точность, лет(средняя погрешность)
light13.19 1 2 5.5
2 1 2 4.9
heavy13.19 1 2 4.7
2 1 2 3.5
* - CPU Intel Xeon E5-2683 v4 (1 ядро)
** - GPU (NVIDIA GTX 10xx серия)

Скорость работы и точность Liveness Estimator​

Модификация Версия Время детекции CPU (мс)*BPCERAPCER
2d_additional_check1 410.190.27

Скорость работы и точность Quality Assessment Estimator​

Модификация Версия Версия Face SDK Время детекции CPU (мс)* Время детекции GPU (мс)** Процент отбрасываемых по total_score худших сэмпловFNMRFPR
assessment13.16595710.00971.98E-07
50.00872.00E-07
100.00812.11E-07
23.24626110.00971.98E-07
50.00872.00E-07
100.00812.11E-07
estimation13.1995510.00791.93E-07
50.00621.93E-07
100.00591.97E-07
* - CPU Intel Xeon E5-2683 v4 (1 ядро)
** - GPU (NVIDIA GTX 10xx серия)

Скорость работы и точность Face Fitter​

Модификация Версия Версия Face SDK Время детекции CPU (мс)* Время детекции GPU (мс)**
fda13.2333
tddfa_faster13.1921
tddfa13.1962
mesh13.1963
* - CPU Intel Xeon E5-2683 v4 (1 ядро)
** - GPU (NVIDIA GTX 10xx серия)

Скорость работы и точность Human Pose Estimator​

Модификация Версия Версия Face SDK Время детекции CPU (мс)* Время детекции GPU (мс)**
heavy13.161936
* - CPU Intel Xeon E5-2683 v4 (1 ядро)
** - GPU (NVIDIA GTX 10xx серия)

Точность определения атрибутов лица​

АтрибутТочность
Пол95%
Эмоции80%
Возраст3.95 лет (средняя погрешность)
Нет маски на лице99%
Есть маска на лице97%