Перейти к основному содержимому
Версия: 3.19.2

Результаты бенчмарков

Тестирование методов распознавания Face SDK​

Точность работы методов распознавания по результатам NIST​

В таблице представлены показатели точности работы методов распознавания Face SDK по результатам Национального института стандартов и технологий (National Institute of Standards and Technology, NIST):

NIST Face Recognition Vendor Test (FRVT) 1:1Показатель
VISA* True Acceptance Rate (@FAR 1E-6)99,65%
Mugshot* True Acceptance Rate (@FAR 1E-5)99,76%
Border* True Acceptance Rate (@FAR: 1E-6)99,35%
WILD* True Acceptance Rate (@FAR 1E-4)96,94%
Нажмите, чтобы ознакомиться с описанием типов изображений из таблицы*
  • VISA – полнофронтальные изображения размером 252x300 пикселей. Среднее расстояние между глазами (IOD) составляет 69 пикселей.
  • Mugshot – полнофронтальное изображения разных размеров. Среднее значение IOD составляет 113 пикселей.
  • Border – изображения сделаны камерой. Возможны различные значения углов наклона и поворота головы. Присутствует сильное фоновое освещение, в результате чего изображение лица затемнено. Присутствует некоторое искажение перспективы из-за съемок с близкого расстояния. Некоторые лица частично обрезаны.
  • Wild – множество изображений в стиле фотожурналистики. Разрешение варьируется в очень широких пределах. Углы поворота и наклона головы варьируются. Лица могут быть закрыты, например, волосами и руками.

Точность работы методов распознавания на расширенном LFW датасете с типом изображений Wild​

В тесте используется расширенный LFW датасет (LFW датасет + наш внутренний датасет), увеличен набор mismatch-пар и исправлены ошибки LFW для точных измерений при низких значениях FAR.

FAR9.300 TAR (%)12.30 TAR (%)12.50 TAR (%)12.100 TAR (%)12.1000 TAR (%)
1e-4 98.7 98.9 99.2 99.4 99.5
1e-5 98.0 98.1 98.7 99.1 99.4
1e-6 96.6 96.7 97.9 98.5 99.3
1e-7 93.2 94.3 96.3 97.5 98.9
1e-8 32.2 88.0 89.5 94.1 97.7
1e-9 10.5 82.0 80.9 84.9 93.9

ROC-кривая​

img.png

Скорость извлечения биометрического шаблона с использованием CPU и GPU​

Результаты замеров для ПК (Desktop)​

Метод распознаванияGPU (NVIDIA GTX 1070)CPU (Core i5-9400 4.0GHz)
12v100047 мс442 мс
9v30010 мс292 мс
12v1008 мс49 мс
12v506 мс21 мс
12v305 мс12 мс

Результаты замеров для мобильных устройств​

Метод распознаванияCPU (Qualcomm Snapdragon 845)
12v10007968 мс
9v3001960 мс
12v100801 мс
12v50270 мс
12v30150 мс

Примечание. Тестирование производилось с использованием Google Pixel 3.

Скорость работы методов распознавания на CPU​

Метод распознаванияСоздание шаблона (мс)Идентификация 1:N с ускорением (мс)Верификация 1:1 (мс)
N = 104 N = 106 N = 107
6.7 40 (45**) 0,25 12,1 126 0,04
7.7 170 (180**) 0,25 12,1 126 0,04
8.7 20 (20**) 0,25 12,1 126 0,04
9.30 55 0,18 12,0 117 0,04
9.300 402 0,18 12,0 117 0,04
9.1000 1092 0,18 12,0 117 0,04
9.30mask 38 0,18 12,0 117 0,04
9.300mask 263 0,18 12,0 117 0,04
9.1000mask 469 0,18 12,0 117 0,04
10.30 44 0,18 12,0 117 0,04
10.100 71 0,18 12,0 117 0,04
10.1000 1061 0,18 12,0 117 0,04
11.1000 1396 0,22 15,0 151 0,04
12.30 23*** 0,20 15,0 120 0,04
12.50 37*** 0,20 15,0 120 0,04
12.100 79*** 0,20 15,0 120 0.04
12.1000 647*** 0,40 20,0 170 0,04

* – Характеристики указаны для одного ядра процессора.
** – Время создания шаблона при параметре processing_less_memory_consumption с установленным значением true при вызове метода FacerecService.createRecognizer для создания объекта Recognizer.
*** – Время создания шаблона с использованием инструкций AVX2 (Узнайте больше в разделе Распознавание лиц).

Примечания:

  • Время ускоренного поиска приведено для k=1, при больших значениях k время будет увеличиваться до времени поиска без ускорения.
  • Ускоренный поиск реализован только для методов распознавания 6.5, 6.6, 6.7, 7.3, 7.6, 7.7, 8.6, 8.7, 9.30, 9.300, 9.1000, 10v30, 10v100, 10v1000, 11v1000, 12.30, 12.50 , 12.100, 12.1000 .
  • Для достижения этих скоростей шаблоны в индексе дожны быть расположены в порядке их создания (через метод Recognizer.processing или Recognizer.loadTemplate).
  • Для достижения более высоких скоростей можно использовать GPU (Узнайте больше в разделе Использование GPU).

Характеристики памяти​

Метод распознаванияРазмер сериализованного шаблона (Байт)Размер шаблона в оперативной памяти (Байт)Потребление памяти* (МБ)
6.7 536 636 105 (85**)
7.7 536 636 195 (163**)
8.7 536 636 52 (40**)
9.30 280 380 155
9.300 280 380 210
9.1000 280 380 290
10.30 280 380 160
10.100 280 380 180
10.1000 280 380 270
11.1000 296 396 480
12.30 230 330 160
12.50 261 361 170
12.100 337 437 180
12.1000 400 500 440

* – Количество используемой памяти не зависит от количества созданных объектов Recognizer этого метода.
** – Потребление памяти при параметре processing_less_memory_consumption с установленным значением true при вызове метода FacerecService.createRecognizer для создания объекта Recognizer.

Тестирование детекторов Face SDK​

Скорость работы детекторов​

Файл конфигурацииВремя детекции (мс)
640x480, 1 лицо640x480, 4 лица1280x720, 1 лицо1280x720, 4 лица1920x1080, 1 лицо1920x1080, 4 лица
common_capturer_blf_fda_auto.xml9-43 17-52 17-50 17-55 33-69 25-57
common_capturer_blf_fda_back.xml43 52 50 55 67 57
common_capturer_blf_fda_front.xml9 17 17 17 33 25
common_capturer_refa_fda_a.xml1001 996 777 792 864 858
common_capturer_uld_fda.xml (min_size=150)19 28 24 29 36 30
common_capturer_uld_fda.xml (min_size=90)88 97 93 100 109 102
common_capturer_uld_fda.xml (min_size=50)377 385 375 385 402 397
safety_city_q1.xml99 107 100 112 110 117
safety_city_q2.xml376 383 379 385 399 393
remote_identification_q1.xml1000 1001 773 791 863 858
remote_identification_q2.xml44 51 50 55 66 56
access_control_system_one_face_q1.xml44 52 50 56 66 56
access_control_system_one_face_q2.xml43 52 50 55 67 55
access_control_system_one_face_q3.xml88 96 94 98 107 102
access_control_system_several_faces_q1.xml1004 1007 773 788 863 858
access_control_system_several_faces_q2.xml87 95 92 98 106 101
common_capturer4_fda.xml23 35 49 108 94 143
common_capturer4_fda_with_angles.xml481 697 414 768 312 410
common_capturer4_mesh.xml27 60 57 142 102 175
common_capturer4_mesh_with_angles.xml492 732 424 788 321 443
common_capturer4_fda_singleface.xml31 - 60 - 112 -
common_capturer4_mesh_singleface.xml34 - 68 - 120 -

Примечание. Время работы может значительно меняться в зависимости от содержания изображения.

Перечень файлов конфигурации объекта Capturer:​

Нажмите, чтобы ознакомиться с описанием файлов конфигурации объекта Capturer
ФайлДетекторНабор точекУглы (roll/yaw/pitch)Описание и применение
common_capturer4_fda.xmllbffda[-30;30][-60;60][-60;60]Детектор фронтальных лиц.
common_capturer4_fda_with_angles.xmllbffda[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы.
common_capturer4_fda_with_angles_noise.xmllbffda[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума.
common_capturer4_fda_singleface.xmllbffda[-30;30][-60;60][-60;60]Детектируется только одно фронтальное лицо.
common_capturer4_fda_singleface_with_angles.xmllbffda[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы.
common_capturer4_fda_singleface_with_angles_noise.xmllbffda[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума.
common_capturer4_lbf.xmllbfdoublelbf[-30;30][-60;60][-60;60]Детектор фронтальных лиц.
common_capturer4_lbf_singleface.xmllbfdoublelbf[-30;30][-60;60][-60;60]Детектируется только одно фронтальное лицо.
common_capturer4_mesh.xmllbfmesh[-30;30][-60;60][-60;60]Детектор фронтальных лиц. Позволяет получить 3D маску лица.
common_capturer4_mesh_with_angles.xmllbfmesh[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Позволяет получить 3D маску лица.
common_capturer4_mesh_with_angles_noise.xmllbfmesh[-90;90][-60;60][-60;60]Детектор фронтальных лиц. Адаптирован под работу с большим диапазоном углов поворота головы. Подходит для изображений с высоким уровнем шума. Позволяет получить 3D маску лица.
common_capturer4_mesh_singleface.xmllbfmesh[-30;30][-60;60][-60;60]Детектируется только одно фронтальное лицо. Позволяет получить 3D маску лица.
common_capturer4_mesh_singleface_with_angles.xmllbfmesh[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. Позволяет получить 3D маску лица.
common_capturer4_mesh_singleface_with_angles_noise.xmllbfmesh[-90;90][-75;75][-60;60]Детектируется только одно фронтальное лицо. Детектор адаптирован под работу с большим диапазоном углов поворота головы. подходит для изображений с высоким уровнем шума. Позволяет получить 3D маску лица.
common_capturer_blf_fda_front.xmlblffda[-70;70][-90;90][-70;70]Детекция крупных изображений лиц (т.е. лицо занимает большую часть кадра). Подходит для детекции лиц в масках.
common_capturer_blf_fda_back.xmlblffda[-70;70][-90;90][-70;70]Детекция нескольких лиц, либо небольших изображений лица. Подходит для детекции лиц в масках.
common_capturer_blf_fda_auto.xmlblffda[-70;70][-90;90][-70;70]Детекция лиц разного размера (требуется указать в конфигурационном файле параметры `resolution_width` и `min_face_size`). Подходит для детекции лиц в масках.
common_capturer_refa_fda_a.xmlrefafda[-70;70][-90;90][-70;70]Детектор лиц, рекомендуемый для использования в экспертных системах. Обеспечивает детекцию лиц с наибольшим покрытием углов поворота и максимальным качеством (в т.ч. в масках).
common_capturer_uld_fda.xmluldfda[-70;70][-90;90][-70;70]Детекция лиц разного размера. Подходит для детекции лиц в масках.
common_video_capturer_fda.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц (работает только с цветными изображениями).
common_video_capturer_lbf.xmllbfsinglelbf[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц (работает только с цветными изображениями).
common_video_capturer_mesh.xmllbfmesh[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц (работает только с цветными изображениями). Позволяет получить 3D маску лица.
fda_tracker_capturer.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц.
fda_tracker_capturer.w.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц. Предназначен для детекции лиц при низком качестве освещения. Вероятность ложных детекций при этом немного выше.
fda_tracker_capturer_mesh.xmllbffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц. Позволяет получить 3D маску лица.
fda_tracker_capturer_fake_detector.xmllbffda[-30;30][-60;60][-60;60]Детекция происходит быстрее за счет работы одного фиттера (без детектора). Работает только на лицах, занимающих большую часть изображения.
fda_tracker_capturer_blf.xmlblffda[-30;30][-60;60][-60;60]Видеотрекер фронтальных лиц. Подходит для детекции лиц в масках.
fda_tracker_capturer_refa_a.xmlrefafda[-70;70][-90;90][-70;70]Видеотрекер фронтальных лиц. Предназначен для использования в экспертных системах. Обеспечивает детекцию лиц с наибольшим покрытием углов поворота и максимальным качеством (в т.ч. в масках).
fda_tracker_capturer_uld_fda.xmluldfda[-70;70][-90;90][-70;70]Видеотрекер фронтальных лиц. Позволяет детектировать лица разного размера. Подходит для детекции лиц в масках.
manual_capturer_fda.xmllbffda[-30;30][-60;60][-60;60]Требует указания точек глаз вручную. На основании точек глаз рассчитываются остальные точки на лице.
manual_capturer_mesh.xmllbfmesh[-30;30][-60;60][-60;60]Требует указания точек глаз вручную. На основании точек глаз рассчитываются остальные точки на лице. Позволяет получить 3D маску лица.

Тестирование процессинг-блоков Face SDK​

Скорость работы детекторов​

ТипМодификацияВерсияВремя детекции (мс)
640x480, 4 лица1280x720, 4 лица1920x1080, 4 лица
FACE_DETECTORuld (min_size=150)17 8 9
uld (min_size=100)137 40 43
uld (min_size=50)1193 192 203
ssyv1153 153 157
ssyv247 49 54
ssyv396 99 104
blf_front14 6 11
blf_back112 14 20
HUMAN_BODY_DETECTORssyv1238 241 244
OBJECT_DETECTORssyx12027 2023 2028

Скорость работы эстиматоров​

ТипМодификацияВерсияВремя оценки (мс)
LIVENESS_ESTIMATORv41733
141
EMOTION_ESTIMATORheavy129
AGE_ESTIMATORheavy12
heavy26
light12
light26
GENDER_ESTIMATORheavy12
heavy26
light12
light26
MASK_ESTIMATORlight12
light22
QUALITY_ASSESSMENT_ESTIMATORassessment165
estimation197
HUMAN_POSE_ESTIMATORheavy1195
FACE_FITTERtddfa_faster13
tddfa17
mesh17

Точность работы эстиматоров​

МодификацияПроцент отбрасываемых по total_score худших сэмпловFNMRFPR
assessment10.00971.98E-07
50.00872.00E-07
100.00812.11E-07
estimation10.00791.93E-07
50.00621.93E-07
100.00591.97E-07

Точность определения атрибутов лица​

АтрибутТочность
Пол95%
Эмоции80%
Возраст3.95 лет (средняя погрешность)
Нет маски на лице99%
Есть маска на лице97%