Оценка Liveness
2D RGB оценка Liveness
Модификации процессинг-блока оценки Liveness
2d
— оценка принадлежности лица реальному человеку по изображению (предыдущая модификация "v4").2d_light
— более лёгкие и быстрые алгоритмы в сравнении с2d
. Подходят для использования на мобильных устройствах.2d_additional_check
— оценка принадлежности лица реальному человеку по изображению с дополнительными проверками.
* - CPU Intel Xeon E5-2683 v4 (1 ядро)Модификация Версия Версия Face SDK Время детекции CPU (мс)* Время детекции GPU (мс)** APCER[BPCER=0.05] 2d_additional_check 1 3.19 41 - 0.37 2d 1 3.19 694 72 0.40 2 3.21 243 12 0.09 3 3.24 242 12 0.04 2d_light 1 3.21 6 2 0.15 2 3.24 16 4 0.18 3 3.24 16 4 0.05 2d_ensemble 1 3.24 487 24 0.03 2d_ensemble_light 1 3.24 34 9 0.06
** - GPU (NVIDIA GTX 10xx серия)
Параметры конфигурации
- 2d_additional_check
- 2d
- 2d_light
"capturer_config_name"
— конфигурационный файл детектора. По умолчанию используется"common_capturer_uld_fda.xml"
(Перечень конфигурационных файлов объекта Capturer)."config_name"
— конфигурационный файл объекта оценки Liveness. По умолчанию используется"liveness_2d_estimator_v3.xml"
(Класс Liveness2DEstimator).
"confidence_threshold"
— порог, по которому определяется параметр"value"
(обозначает вердикт: REAL или FAKE).
"confidence_threshold"
— порог, по которому определяется параметр"value"
(обозначает вердикт: REAL или FAKE).
Перечень настраиваемых параметров процессинг-блоков
Значания параметров по умолчанию
Модификация | Версия | confidence_threshold |
---|---|---|
2d | 1 | 0.8 |
2 | 0.7 | |
2d_light | 1 | 0.56 |
2 | 0.42 |
Спецификация процессинг-блока
- 2d_additional_check
- 2d
- Входной Context-контейнер должен содержать изображение в бинарном формате.
{
"image" : {
"format": "NDARRAY",
"blob": "data pointer",
"dtype": "uint8_t",
"shape": [height, width, channels]
}
}
- Входной Context-контейнер должен содержать бинарное изображение и массив объектов, полученных после работы процессинг-блоков детекции лица и фиттера:
{
"image" : {
"format": "NDARRAY",
"blob": "data pointer",
"dtype": "uint8_t",
"shape": [height, width, channels]
},
"objects": [{
"id": {"type": "long", "minimum": 0},
"class": "face",
"confidence": {"double", "minimum": 0, "maximum": 1},
"bbox": [x1, y2, x2, y2]
"keypoints": {
"left_eye_brow_left": {"proj" : [x, y]},
"left_eye_brow_up": {"proj" : [x, y]},
"left_eye_brow_right": {"proj" : [x, y]},
"right_eye_brow_left": {"proj" : [x, y]},
"right_eye_brow_up": {"proj" : [x, y]},
"right_eye_brow_right": {"proj" : [x, y]},
"left_eye_left": {"proj" : [x, y]},
"left_eye": {"proj" : [x, y]},
"left_eye_right": {"proj" : [x, y]},
"right_eye_left": {"proj" : [x, y]},
"right_eye": {"proj" : [x, y]},
"right_eye_right": {"proj" : [x, y]},
"left_ear_bottom": {"proj" : [x, y]},
"nose_left": {"proj" : [x, y]},
"nose": {"proj" : [x, y]},
"nose_right": {"proj" : [x, y]},
"right_ear_bottom": {"proj" : [x, y]},
"mouth_left": {"proj" : [x, y]},
"mouth": {"proj" : [x, y]},
"mouth_right": {"proj" : [x, y]},
"chin": {"proj" : [x, y]},
"points": ["proj": [x, y]]
}
}]
}
- 2d_additional_check
- 2d
- После вызова процессинг-блока добавлен массив объектов, содержащий один объект. В объекте будут находиться координаты ограничивающего прямоугольника (bbox), уверенность детекции, класс и поле
liveness
. По ключу"liveness"
доступен объект Context, содержащий 3 элемента:
- Ключ
"confidence"
со значением типа double в диапазоне [0,1] - Ключ
"value"
со значением типа string, которое соответствует одному из двух состояний: "REAL" или "FAKE" - Ключ
"info"
со значением типа string, которое соответствует одному из состояний pbio::Liveness2DEstimator::Liveness
Спецификация выходного Context-контейнера:
{
"image" : {},
"objects": [{
"id": {"type": "long", "minimum": 0},
"class": "face",
"confidence": {"double", "minimum": 0, "maximum": 1},
"bbox": [x1, y2, x2, y2],
"liveness": {
"confidence": {"type": "double", "minimum": 0, "maximum": 1},
"info": {
"enum": [
"FACE_NOT_FULLY_FRAMED", "MULTIPLE_FACE_FRAMED",
"FACE_TURNED_RIGHT", "FACE_TURNED_LEFT", "FACE_TURNED_UP",
"FACE_TURNED_DOWN", "BAD_IMAGE_LIGHTING", "BAD_IMAGE_NOISE",
"BAD_IMAGE_BLUR", "BAD_IMAGE_FLARE", "NOT_COMPUTED"
]
},
"value": {"enum": ["REAL", "FAKE"]}
}
}]
}
- После вызова процессинг-блока, объекту будет добавлено поле
liveness
. По ключу"liveness"
доступен объект Context, содержащий 2 элемента:
- Ключ
"confidence"
со значением типа double в диапазоне [0,1] - Ключ
"value"
со значением типа string, которое соответствует одному из двух состояний: "REAL" или "FAKE" - Ключ
"attack_type"
со значением типа string, вероятный тип атаки (Не доступен в версии 1) - Ключ
"attack_type_scores"
объект Context, содержащий 6 элементов. По ключу (тип атаки) хранится score (Не доступен в версии 1)
Спецификация выходного Context-контейнера:
{
"objects": [{
"liveness": {
"confidence": {"type": "double", "minimum": 0, "maximum": 1},
"value": {"enum": ["REAL", "FAKE"]},
"attack_type": {"type": "string"},
"attack_type_scores": {
"none": {"type": "double", "minimum": 0, "maximum": 1},
"replay": {"type": "double", "minimum": 0, "maximum": 1},
"photo": {"type": "double", "minimum": 0, "maximum": 1},
"regions": {"type": "double", "minimum": 0, "maximum": 1},
"2d-mask": {"type": "double", "minimum": 0, "maximum": 1},
"3d-mask": {"type": "double", "minimum": 0, "maximum": 1},
}
}
}]
}
примечание
Для корректной работы алгоритма, необходимо чтобы на изображении находилось ровно одно лицо.
Пример работы процессинг-блока
Для оценки принадлежности лица реальному человеку на изображении выполните следующие действия:
- Создайте конфигурационный Context-контейнер, укажите значения
"unit_type"
,"modification"
,"version"
и другие параметры процессинг-блока. Пример создания процессинг-блока вы можете найти на странице.
- C++
- Python
- Flutter
- C#
- Java
- Kotlin
auto configCtx = service->createContext();
configCtx["unit_type"] = "LIVENESS_ESTIMATOR";
configCtx["modification"] = "2d";
pbio::ProcessingBlock blockLiveness = service->createProcessingBlock(configCtx);
configCtx = {
"unit_type": "LIVENESS_ESTIMATOR",
"modification": "2d"
}
blockLiveness = service.create_processing_block(configCtx)
ProcessingBlock blockLiveness = service.createProcessingBlock({
"unit_type": "LIVENESS_ESTIMATOR",
"modification": "2d"
});
Dictionary<object, object> configCtx = new();
configCtx["unit_type"] = "EMOTION_ESTIMATOR";
configCtx["modification"] = "2d";
ProcessingBlock blockLiveness = service.CreateProcessingBlock(configCtx);
Context configCtx = service.createContext();
configCtx.get("unit_type").setString("LIVENESS_ESTIMATOR");
configCtx.get("modification").setString("2d");
ProcessingBlock blockLiveness = service.createProcessingBlock(configCtx);
val configCtx = service.createContext()
configCtx["unit_type"].string = "EMOTION_ESTIMATOR"
configCtx["modification"].string = "2d"
val blockLiveness = service.createProcessingBlock(configCtx)
- Передайте входной Context-контейнер, соответствующий модификации блока, в метод
"blockLiveness()"
:"2d"
— Context-контейнер, полученный после работы процессинг-блоков детекции лица и фиттера."2d_additional_check"
— Context-контейнер, содежащий изображение в бинарном формате.
- C++
- Python
- Flutter
- C#
- Java
- Kotlin
//------------------
// создание процессинг-блока и контейнера Context с бинарным изображением
//------------------
faceDetector(ioData);
faceFitter(ioData);
blockLiveness(ioData);
#------------------
# создание процессинг-блока и контейнера Context с бинарным изображением
#------------------
faceDetector(ioData)
faceFitter(ioData)
blockLiveness(ioData)
//------------------
// создание процессинг-блока и контейнера Context с бинарным изображением
//------------------
faceDetector.process(ioData);
faceFitter.process(ioData);
blockLiveness.process(ioData);
//------------------
// создание процессинг-блока и контейнера Context с бинарным изображением
//------------------
faceDetector.Invoke(ioData);
faceFitter.Invoke(ioData);
blockLiveness.Invoke(ioData);
//------------------
// создание процессинг-блока и контейнера Context с бинарным изображением
//------------------
faceDetector.process(ioData);
faceFitter.process(ioData);
blockLiveness.process(ioData);
//------------------
// создание процессинг-блока и контейнера Context с бинарным изображением
//------------------
faceDetector.process(ioData)
faceFitter.process(ioData)
blockLiveness.process(ioData)
- Получите результат работы процессинг-блока
LIVENESS_ESTIMATOR
- C++
- Python
- Flutter
- C#
- Java
- Kotlin
auto liveness_results = ioData["objects"][0]["liveness"];
std::string liveness_value = liveness_results["value"].getString();
double liveness_confidence = liveness_results["confidence"].getDouble();
liveness_results = ioData["objects"][0]["liveness"]
liveness_value = liveness_results["value"].get_value()
liveness_confidence = liveness_results["confidence"].get_value()
Context liveness_results = ioData["objects"][0]["liveness"];
String liveness_value = liveness_results["value"].get_value();
double liveness_confidence = liveness_results["confidence"].get_value();
Context liveness_results = ioData["objects"][0]["liveness"];
string liveness_value = liveness_results["value"].GetString();
double liveness_confidence = liveness_results["confidence"].GetDouble();
Context liveness_results = ioData.get("objects").get(0).get("liveness");
String liveness_value = liveness_results.get("value").getString();
double liveness_confidence = liveness_results.get("confidence").getDouble();
val liveness_results = ioData["objects"][0]["liveness"];
val liveness_value = liveness_results["value"].string;
val liveness_confidence = liveness_results["confidence"].double