Оценка лиц

Обзор

Для оценки лиц в Face SDK процессинг-блоки оценки.

Процессинг-блоки оценки лица

На текущий момент существуют следующие блоки оценки:

• AGE_ESTIMATOR — блок для оценки возраста
• GENDER_ESTIMATOR — блок для оценки пола
• EMOTION_ESTIMATOR — блок для оценки эмоций человка
• MASK_ESTIMATOR — блок для оценки наличия медецинской маски

Модификации и версии

AGE_ESTIMATOR

Модификация	Версия	Время детекции (мс)	Точность, лет(средняя погрешность)
light	1	2	5.5
	2	2	4.9
heavy	1	6	4.7
	2	6	3.5

примечание

Модификация по умолчанию - heavy.

GENDER_ESTIMATOR

Модификация	Версия	Время детекции (мс)	Точность, %
light	1	2	95
	2	2	96
heavy	1	6	96
	2	6	97
	3	6	97.5

примечание

Модификация по умолчанию - heavy.

EMOTION_ESTIMATOR

Модификация	Версия	Время детекции (мс)	Точность, %
heavy	1	29	80

примечание

Модификация по умолчанию - heavy.

MASK_ESTIMATOR

Модификация	Версия	Время детекции (мс)
light	1	2
	2	2

примечание

Модификация по умолчанию - light.

Спецификация процессинг-блока оценки лица

1. Входной контейнер Context должен содержать бинарное изображение и массив объектов, полученных после работы процессинг-блоков детекции лица и фиттера:

   Нажмите, чтобы развернуть спецификацию входного контейнера Context

   {
       "image" : {
       "format": "NDARRAY",
           "blob": "data pointer",
           "dtype": "uint8_t",
           "shape": [height, width, channels]
       },
       "objects": [{
           "id": {"type": "long", "minimum": 0},
           "class": "face",
           "confidence": {"double",  "minimum": 0,  "maximum": 1},
           "bbox": [x1, y2, x2, y2]
           "keypoints": {
               "left_eye_brow_left":   {"proj" : [x, y]},
               "left_eye_brow_up":     {"proj" : [x, y]},
               "left_eye_brow_right":  {"proj" : [x, y]},
               "right_eye_brow_left":  {"proj" : [x, y]},
               "right_eye_brow_up":    {"proj" : [x, y]},
               "right_eye_brow_right": {"proj" : [x, y]},
               "left_eye_left":        {"proj" : [x, y]},
               "left_eye":             {"proj" : [x, y]},
               "left_eye_right":       {"proj" : [x, y]},
               "right_eye_left":       {"proj" : [x, y]},
               "right_eye":            {"proj" : [x, y]},
               "right_eye_right":      {"proj" : [x, y]},
               "left_ear_bottom":      {"proj" : [x, y]},
               "nose_left":            {"proj" : [x, y]},
               "nose":                 {"proj" : [x, y]},
               "nose_right":           {"proj" : [x, y]},
               "right_ear_bottom":     {"proj" : [x, y]},
               "mouth_left":           {"proj" : [x, y]},
               "mouth":                {"proj" : [x, y]},
               "mouth_right":          {"proj" : [x, y]},
               "chin":                 {"proj" : [x, y]},
               "points": ["proj": [x, y]]
           }
       }]
   }

   Пример процессинг-блоков детекции лица и фиттера вы можете найти на странице Пример детекции лиц и определения антопометрических точек лица.

2. После вызова процессинг-блока оценки каждому объекту из массива "objects" будут добавлены атрибуты соответсвующие этому блоку.

Спецификация выходного контейнера Context:

AGE_ESTIMATOR

[{
    "age": {"type": "long", "minimum": 0}
}]

GENDER_ESTIMATOR

[{
    "gender": {
        "enum": ["FEMALE", "MALE"]
    }
}]

EMOTION_ESTIMATOR

[{
    "emotions" : [
        "confidence": {"type": "double", "minimum": 0, "maximum": 1},
        "emotion":  {
         "enum": ["ANGRY", "DISGUSTED", "SCARED", "HAPPY", "NEUTRAL", "SAD", "SURPRISED"]
        }
    ]
}]

MASK_ESTIMATOR

[{
    "has_medical_mask": {
        "confidence": {"double",  "minimum": 0,  "maximum": 1}, // числовое значение уверенности в наличии/отсутствии маски на лице
        "value": {"type": "boolean"} // true - человек в маске, false - человек без маски. Значение параметра "value" определяется по значению ключа `confidence_threshold`
    }
}]

Пример работы с процессинг-блоком оценки

Для оценки атрибутов лица на изображении выполните следующие действия:

1. Создайте конфигурационный Context-контейнер и укажите значения "unit_type", "modification", "version", интересующего вас блока Пример создания процессинг-блока вы можете найти на странице Работа с процессинг-блоком. Перечень настраиваемых параметров процессинг-блоков

2. Передайте Context-контейнер, полученный после работы процессинг-блоков детекции лица и фиттера.

3. Вызовете процессинг-блок оценки.

C++

auto configCtx = service->createContext();
configCtx["unit_type"] = "EMOTION_ESTIMATOR";
pbio::ProcessingBlock blockEstimator = service->createProcessingBlock(configCtx);

//------------------
// создание процессинг-блока оценки лица и Context-контейнера с бинарным изображением
//------------------

faceDetector(ioData)
faceFitter(ioData)
blockEstimator(ioData);

Python

configCtx = {"unit_type": "EMOTION_ESTIMATOR"}
blockEstimator = service.create_processing_block(configCtx)

#------------------
# создание процессинг-блока оценки лица и Context-контейнера с бинарным изображением
#------------------

faceDetector(ioData)
faceFitter(ioData)
blockEstimator(ioData)

Flutter

ProcessingBlock blockEstimator = service.createProcessingBlock({"unit_type": "EMOTION_ESTIMATOR"});

//------------------
// создание процессинг-блока оценки лица и Context-контейнера с бинарным изображением
//------------------

faceDetector.process(ioData);
faceFitter.process(ioData);
blockEstimator.process(ioData);

C#

Dictionary<object, object> configCtx = new();
configCtx["unit_type"] = "EMOTION_ESTIMATOR";
ProcessingBlock blockEstimator = service.CreateProcessingBlock(configCtx);

//------------------
// создание процессинг-блока оценки лица и Context-контейнера с бинарным изображением
//------------------

faceDetector.Invoke(ioData);
faceFitter.Invoke(ioData);
blockEstimator.Invoke(ioData);

Java

Context configCtx = service.createContext();
configCtx.get("unit_type").setString("EMOTION_ESTIMATOR");

ProcessingBlock blockEstimator = service.createProcessingBlock(configCtx);

//------------------
// создание процессинг-блока оценки лица и Context-контейнера с бинарным изображением
//------------------

faceDetector.process(ioData)
faceFitter.process(ioData)
blockEstimator.process(ioData);