Компоненты Face SDK
Face Detector
Face Detector предназначен для обнаружения лиц на изображениях. Результат работы компонента - список задетектерованных лиц для каждого из которых доступны следующие атрибуты:
- Bounding Box - позиция и размер лица на исходном изображении
- Face Landmarks - 2D-координаты антропометрических точек лица
- Face Mesh - 3D-координаты 470 антропометрических точек лица
- Iris Landmarks - координаты 40 точек глаз (зрачки и веки)
- Углы поворота головы
Примечание: Для распознавания лиц на видео или упорядоченных по времени последовательностях изображений рекомендуется использовать компонент Video Engine.
Attributes Estimators
Face SDK предоставляет набор инструментов для оценки изображений лиц, полученных от компонента Face Detector.
Gender-Age Estimator позволяет определить пол и возраст лица на изображении.
| Атрибут | Точность |
|---|---|
| Пол | 95% |
| Возраст | Средняя погрешность +/-4 года |
Emotions Estimator позволяет получить оценку преобладающего эмоционального состояния лица:
- Happy
- Surprised
- Neutral
- Angry
| Атрибут | Точность |
|---|---|
| Эмоции | 80% |
Quality Estimator предоставляет оценку качества изображения лица как единственное вещественное число или набор из оценок отдельных параметров качества:
- степень засветки
- равномерность освещения
- уровень шума
- резкость
Mask Estimator определяет наличие/отсутствие маски на изображении лица.
| Атрибут | Точность |
|---|---|
| Нет маски на лице | 99% |
| Есть маска на лице | 97% |
Eyes Openness Estimator служит средством оценки состояния глаз на изображении лица и предоставляет вердикт “открыт” или ”закрыт” для правого и левого глаза.
Face Recognition
Face SDK предоставляет компоненты и алгоритмы для распознавания и сравнения лиц. Основой этой функциональности являются операции с использованием биометрического шаблона лица.
Биометрический шаблон лица - уникальный набор биометрических признаков лица, извлеченных из изображения лица. Шаблоны позволяют сравнить два изображения лица и определить степень их схожести.
Ключевые особенности биометрического шаблона лица:
- не содержит персональных данных
- не может быть использован для восстановления изображения лица
- может быть сериализован и сохранен в файл, базу данных или отправлен по сети
- может быть проиндексирован для ускорения процесса сопоставления шаблонов лиц с помощью специального индекса.
Encoder извлекает биометрический шаблон лица из изображения лица, полученного от Face Detector.
В Face SDK есть несколько алгоритмов извлечения шаблона с различными соотношениями скорости и точности, охватывающими все возможные сферы применения - от embedded-устройств до экспертных систем распознавания лиц.
Извлечение биометрического шаблона - одна из самых ресурсоемких операций, поэтому Face SDK предоставляет возможность использовать ускоритель GPU для повышения производительности.
Matcher позволяет выполнять операции сравнения биометрических шаблонов лиц, полученных с помощью компонента Encoder:
- верификация 1:1 - сравнение двух биометрических шаблонов (лиц) между собой, оценка совпадения
- идентификация 1:N - сравнение одного биометрического шаблона (лица) с другими шаблонами (лицами), поиск и оценка совпадений
При сравнении шаблонов лиц Matcher вычисляет разницу между биометрическими признаками лиц. Результат вычислений является мерой соответствия изображений лиц и отражает вероятность принадлежности одному человек.
Шаблоны, извлеченные с помощью различных алгоритмов, обладают различными свойствами и не могут сравниваться между собой.
Точность алгоритмов Face SDK по результатам NIST (28-10-2021)
| NIST Face Recognition Vendor Test (FRVT) 1:1 | Показатель |
|---|---|
| VISA, True Acceptance Rate (@FAR 1E-6) | 99.62% |
| MUGSHOT, True Acceptance Rate (@FAR 1E-5) | 99.72% |
| VISA BORDER, True Acceptance Rate (@FAR: 1E-6) | 99.54% |
Liveness Estimators
Набор компонентов Liveness предназначен для определения “живости” - принадлежности обнаруженного лица реальному человеку. Применение этих компонентов обеспечивает защиту от злонамеренных действий (spoofing-атак) с использованием подлога фото- или видеоизображения вместо реального лица.
Active Liveness Estimator анализирует выполнение человеком определенных действий - сценария проверки, например: “моргнуть”, “улыбнуться”, “повернуть голову”.
2D / RGB Liveness Estimator помогает выполнить оценку “живости” лица на RGB-изображении. Для выполнения проверки достаточно появления лица в поле зрения камеры
3D / Depth Liveness Estimator защищает от попыток использовать изображение вместо реального лица, анализируя поверхность лица по карте глубины, полученной от 3D (RGBD) сенсора.
IR Liveness Estimator определяет реальность человеческого лица на основании снимка, полученного от инфракрасной камеры, в комбинации с цветным изображением.
Video Engine
Video Engine предназначен для realtime-обработки видеопотоков и решает следующие задачи:
- детекция и отслеживание лиц
- распознавание лиц (опционально)
- проверка Liveness (опционально)
- определение пола, возраста и эмоций лица (опционально)
Video Engine работает в многопоточном режиме. Каждый поток - это последовательность изображений (кадров), получаемых из одного источника (например камера или видео).
Все потоки обрабатываются в Video Engine одновременно. Потоки, кадры и обнаруженные лица в кадре получают собственные идентификаторы. В процессе отслеживания лица на последовательности изображений потока формируется трек этого лица, который также обозначается собственным ID.
Совокупный набор идентификаторов позволяет точно фиксировать генерируемые события по каждому потоку. Для обработки событий в Video Engine реализован интерфейс колбэков, который предоставляет данные о событии и позволяет определить поведение приложения.
Лицензирование
Face SDK поддерживает все основные платформы и предоставляет гибкие условия лицензирования. Лицензирование отдельных платформ и функций доступно по запросу.