Детекция лиц

Обзор

Процесс детекции лиц в Face SDK включает детекцию и определение антропометрических точек лица.

Детекция лиц

Детекция выполняется с помощью набора детекторов. Детектор – это алгоритм библиотеки libfacerec, который использует нейронные сети для обнаружения лиц на изображениях. Результатом работы детектора являются координаты ограничивающего прямоугольника (bbox) вокруг задетектированного лица.

Детекторы

На данный момент доступны следующие модификации:

Модификация	Версия	Версия Face SDK	Параметры по умолчанию	Время детекции CPU (мс)*
				640x480	1280x720	1920x1080
uld	1	3.19	precision_level=1, confidence_threshold=0.7, coarse_confidence_threshold=0.3	7	7	8
			precision_level=2, confidence_threshold=0.7, coarse_confidence_threshold=0.3	37	38	40
			precision_level=3, confidence_threshold=0.7, coarse_confidence_threshold=0.3	194	187	197
ssyv	1	3.19	confidence_threshold=0.5, iou_threshold=0.5	151	150	152
	2			46	46	47
	3			96	94	96
	4	3.20		1517	1506	1502
ssyv_light	1	3.24		11	11	12
blf_front	1	3.19	confidence_threshold=0.67, iou_threshold=0.5	3	5	9
blf_back	1			11	13	18
ssyx	1	3.29	confidence_threshold=0.5, iou_threshold=0.5	40	40	41
	2	3.31		40	40	41

* - CPU Intel Xeon E5-2683 v4 (1 ядро)

примечание

Модификация по умолчанию -"ssyv_light".

Параметры детектора

• confidence_threshold – порог уверенности детекции.
• iou_threshold – параметр. Метрика определяет, относятся ли два bbox'а к одному и тому же лицу. Например, при пороге в 0.5 два bbox'а, у которых IOU больше 0.5, считаются относящимися к одному лицу. Данный порог нужен на стадии постпроцессинга детекции, чтобы отфильтровать кейсы, когда у нас на один объект приходится несколько боксов
• min_size - фильтрует все лица, которые меньше указаного значения. Может принимать как относительные значения [0, 1], так и абсолютные.
• max_size - фильтрует все лица, которые больше указаного значения. Может принимать как относительные значения [0, 1], так и абсолютные.
• coarse_confidence_threshold(только для uld) – грубый порог уверенности детекции. Во время детекции детектор создает набор bbox'ов, для каждого из которых указано значение confidence (число от 0 до 1, показывает степень уверенности в том, что в bbox находится лицо). Bbox'ы со confidence_threshold'ми подаются в nms-алгоритм, который определяет пересечения (совпадения) между bbox'ми. Параметр coarse_confidence_threshold позволяет отсечь bbox'ы с низким confidence, что сокращает количество вычислений, выполняемых nms-алгоритмом.
• precision_level(только для uld) определяет уровень точности. Значение из диапозон [1, 3], чем выше значение тем выше точность и меньше скорость работы. По умолчанию 1.

Ниже представлены примеры работы детекторов в различных условиях. Настроить пороги детекции (confidence_threshold) и другие параметры можно при создании процессинг-блока.

Нажмите, чтобы развернуть таблицу

BLF (confidence_threshold=0.6)	ULD (precision_level=3, confidence_threshold=0.7)

Нажмите, чтобы развернуть таблицу

ULD (confidence_threshold=0.4)	ULD (confidence_threshold=0.7)

Спецификация блоков детектора

Входной

• Входной контейнер Context должен содержать изображение в бинарном формате.

{
    "image" : {
        "format": "NDARRAY",
        "blob": "data pointer",
        "dtype": "uint8_t",
        "shape": [height, width, channels]
    }
}

Выходной

• После работы процессинг-блока будет добавлен массив объектов, каждый из которых содержит координаты ограничивающего прямоугольника, уверенность детекции, класс и идентификатор в этом массиве.

{
    "image" : {},
    "objects": [{
        "id": {"type": "long", "minimum": 0},
        "class": "face",
        "confidence": {"double",  "minimum": 0,  "maximum": 1},
        "bbox": [x1, y2, x2, y2]
    }]
}

Определение антропометрических точек

Для определения антропометрических точек (Face Landmarks) в Face SDK используются фиттеры. Фиттеры – это специальные алгоритмы библиотеки libfacerec, результатом работы которых является набор антрометрических точек с 2D/3D координатами, привязанными к задетектированному лицу. Существует несколько вариантов фиттеров, отличающихся набором антопометрических точек, о которых написано ниже.

Антропометрические точки

Существует три набора антропометрических точек: fda, mesh, tddfa.

• Набор fda содержит 21 точку лица.
• Набор tddfa содержит 68 точек лица.
• Набор mesh содержит 470 3D точек лица. Мы рекомендуем использовать его для получения 3D маски лица.

На данный момент доступны следующие модификации:

Модификация	Версия	Версия Face SDK	Время детекции CPU (мс)*	Время детекции GPU (мс)**
fda	1	3.23	3	3
tddfa_faster	1	3.19	2	1
tddfa	1	3.19	6	2
mesh	1	3.19	6	3

* - CPU Intel Xeon E5-2683 v4 (1 ядро)
** - GPU (NVIDIA GTX 10xx серия)

примечание

Модификация по умолчанию -fda.

Спецификация блоков фиттера

Входной

• Входной контейнер Context должен содержать изображение в бинарном формате и массив объектов, полученных от детектора

{
    "image" : {
    "format": "NDARRAY",
        "blob": "data pointer",
        "dtype": "uint8_t",
        "shape": [height, width, channels]
    },
    "objects": [{
        "id": {"type": "long", "minimum": 0},
        "class": "face",
        "confidence": {"double",  "minimum": 0,  "maximum": 1},
        "bbox": [x1, y2, x2, y2]
    }]
}

Выходной

• После работы процессинг-блока каждому объекту будет добавлены: 21 ключевые точки лица, точки из набора fda, tddfa или mesh

{
    "keypoints": {
        "left_eye_brow_left":   {"proj" : [x, y]},
        "left_eye_brow_up":     {"proj" : [x, y]},
        "left_eye_brow_right":  {"proj" : [x, y]},
        "right_eye_brow_left":  {"proj" : [x, y]},
        "right_eye_brow_up":    {"proj" : [x, y]},
        "right_eye_brow_right": {"proj" : [x, y]},
        "left_eye_left":        {"proj" : [x, y]},
        "left_eye":             {"proj" : [x, y]},
        "left_eye_right":       {"proj" : [x, y]},
        "right_eye_left":       {"proj" : [x, y]},
        "right_eye":            {"proj" : [x, y]},
        "right_eye_right":      {"proj" : [x, y]},
        "left_ear_bottom":      {"proj" : [x, y]},
        "nose_left":            {"proj" : [x, y]},
        "nose":                 {"proj" : [x, y]},
        "nose_right":           {"proj" : [x, y]},
        "right_ear_bottom":     {"proj" : [x, y]},
        "mouth_left":           {"proj" : [x, y]},
        "mouth":                {"proj" : [x, y]},
        "mouth_right":          {"proj" : [x, y]},
        "chin":                 {"proj" : [x, y]},
        "points": ["proj": [x, y]]
    },
    "pose": {
        "pitch": {"type": "double"},
        "roll": {"type": "double"},
        "yaw": {"type": "double"}
    }
}

Пример детекции лиц и определения антопометрических точек лица

Создание процессинг-блоков

Создайте процессинг-блок детектора и фиттера с помощью метода FacerecService.createProcessingBlock, передав в качестве аргумента контейнер Context с установленными параметрами.

C++

auto detectorConfigCtx = service->createContext();
detectorConfigCtx["unit_type"] = "FACE_DETECTOR";
detectorConfigCtx["modification"] = "ssyv";

auto fitterConfigCtx = service->createContext();
fitterConfigCtx["unit_type"] = "FACE_FITTER";

pbio::ProcessingBlock faceDetector = service->createProcessingBlock(detectorConfigCtx);
pbio::ProcessingBlock faceFitter = service->createProcessingBlock(fitterConfigCtx);

Python

detectorConfigCtx = {
    "unit_type": "FACE_DETECTOR",
    "modification": "ssyv",
}

fitterConfigCtx = {
    "unit_type": "FACE_FITTER"
}

faceDetector = service.create_processing_block(detectorConfigCtx)
faceFitter = service.create_processing_block(fitterConfigCtx)

Flutter

Map<String, dynamic> configCtx = {
    "unit_type": "FACE_DETECTOR",
    "modification": "ssyv",
};

ProcessingBlock faceDetector = service.createProcessingBlock(configCtx);

C#

Dictionary<object, object> detectorConfigCtx = new();
detectorConfigCtx["unit_type"] = "FACE_DETECTOR";
detectorConfigCtx["modification"] = "ssyv";

Dictionary<object, object> fitterConfigCtx = new();
fitterConfigCtx["unit_type"] = "FACE_FITTER";

ProcessingBlock faceDetector = service.CreateProcessingBlock(detectorConfigCtx);
ProcessingBlock faceFitter = service.CreateProcessingBlock(fitterConfigCtx);

Java

Context detectorConfigCtx = service.createContext();
detectorConfigCtx.get("unit_type").setString("FACE_DETECTOR");
detectorConfigCtx.get("modification").setString("ssyv");

Context fitterConfigCtx = service.createContext();
fitterConfigCtx.get("unit_type").setString("FACE_FITTER");

ProcessingBlock faceDetector = service.createProcessingBlock(detectorConfigCtx);
ProcessingBlock faceFitter = service.createProcessingBlock(fitterConfigCtx);

Kotlin

val detectorConfigCtx = service.createContext()
detectorConfigCtx["unit_type"].string = "FACE_DETECTOR"
detectorConfigCtx["modification"].string = "ssyv"

val fitterConfigCtx = service.createContext();
fitterConfigCtx["unit_type"].string = "FACE_FITTER"

val faceDetector = service.createProcessingBlock(detectorConfigCtx)
val faceFitter = service.createProcessingBlock(fitterConfigCtx)

NodeJS

const detectorConfigCtx = new facerec.Context();
detectorConfigCtx.get("unit_type").value = "FACE_DETECTOR";
detectorConfigCtx.get("modification").value = "ssyv";

const fitterConfigCtx = new facerec.Context();
fitterConfigCtx.get("unit_type").value = "FACE_FITTER";

const faceDetector = new facerec.ProcessingBlock(detectorConfigCtx);
const faceFitter = new facerec.ProcessingBlock(fitterConfigCtx);

Go

detectorConfigContext, err := facesdk.CreateContext()
context, err := detectorConfigContext.GetOrInsertByKey("unit_type")
err = context.SetString("FACE_DETECTOR")
context, err = detectorConfigContext.GetOrInsertByKey("modification")
err = context.SetString("ssyv")
defer detectorConfigContext.Close()

fitterConfigContext, err := facesdk.CreateContext()
context, err = fitterConfigContext.GetOrInsertByKey("unit_type")
err = context.SetString("FACE_FITTER")
defer fitterConfigContext.Close()

faceDetector, err := service.CreateProcessingBlock(detectorConfigContext)
faceFitter, err := service.CreateProcessingBlock(fitterConfigContext)

defer faceDetector.Close()
defer faceFitter.Close()

Перечень настраиваемых параметров процессинг-блоков

Запуск детекции

Нужно подать Context-контейнер с бинарным изображением в процессинг-блок детектора:

C++

ioData["image"] = imgCtx;
faceDetector(ioData);

Python

ioData["image"] = imageCtx
faceDetector(ioData)

Flutter

ioData["image"].placeValues(imageContext);
faceDetector.process(ioData);

C#

ioData["image"] = imgCtx;
faceDetector.Invoke(ioData);

Java

ioData.get("image").setContext(imgCtx);
faceDetector.process(ioData);

Kotlin

ioData["image"].setContext(imgCtx)
faceDetector.process(ioData)

NodeJS

ioData.get("image").value = imgCtx;
faceDetector.process(ioData);

Go

context, err := ioData.GetByKey("image")
err = context.Copy(imgCtx)

err = faceDetector.Process(ioData)

Результат выполнения детекции лица сохраняется переданный контейнер Context согласно спецификации процессинг-блока.

Запуск определения антопометрических точек лица

Нужно подать контейнер Context полученный после работы процессинг-блок детектора:

C++

faceFitter(ioData);

Python

faceFitter(ioData)

Flutter

faceFitter.process(ioData);

C#

faceFitter.Invoke(ioData);

Java

faceFitter.process(ioData);

Kotlin

faceFitter.process(ioData)

NodeJS

faceFitter.process(ioData);

Go

err = faceFitter.Process(ioData)

Полученный контейнер Context можно передать в методы оценки возраста, пола, качества и принадлежности лица реальному человеку (Оценка лиц), а также в Recognizer.processing для создания шаблона (Распознавание лиц).

Каскад детекторов

В случаях, когда в одной зоне требуется детектировать лица на данных из разных доменов (например, селфи, фото с камеры СКУД и фото удостоверения личности), бывает сложно обеспечить высокое качество.

Для решения этой проблемы можно воспользоваться модификацией cascade, которая будет последовательно запускать детекторы, добавленные на этапе инициализации процессинг-блока.

Настройка модуля

Для добавления детекторов в каскад используется параметр face_detectors. В него укажите конфигурации детекторов.

Пример конфигурации каскада

{
    "unit_type": "FACE_DETECTOR",
    "modification": "cascade",
    "face_detectors": [
        {
            "unit_type": "FACE_DETECTOR",
            "modification": "ssyv",
            "version": 3
        },
        {
            "unit_type": "FACE_DETECTOR",
            "modification": "uld",
            "precision_level": 2
        },
    ],
}

C++

auto detectorConfigCtx1 = service->createContext();
detectorConfigCtx1["unit_type"] = "FACE_DETECTOR";
detectorConfigCtx1["modification"] = "ssyv";
detectorConfigCtx1["version"] = 3;

auto detectorConfigCtx2 = service->createContext();
detectorConfigCtx2["unit_type"] = "FACE_DETECTOR";
detectorConfigCtx2["modification"] = "uld";
detectorConfigCtx2["precision_level"] = 2;

auto detectorConfigCtx = service->createContext();
detectorConfigCtx["unit_type"] = "FACE_DETECTOR";
detectorConfigCtx["modification"] = "cascade";
detectorConfigCtx["version"] = 3;

detectorConfigCtx["face_detectors"].push_back(detectorConfigCtx1);
detectorConfigCtx["face_detectors"].push_back(detectorConfigCtx2);

auto faceDetector = service.create_processing_block(detectorConfigCtx);

Python

detectorConfigCtx = {
    "unit_type": "FACE_DETECTOR",
    "modification": "cascade",
    "face_detectors": [
        {
            "unit_type": "FACE_DETECTOR",
            "modification": "ssyv",
            "version": 3
        },
        {
            "unit_type": "FACE_DETECTOR",
            "modification": "uld",
            "precision_level": 2
        },
    ],
}

faceDetector = service.create_processing_block(detectorConfigCtx)

Flutter

Map<String, dynamic> configCtx = {
    "unit_type": "FACE_DETECTOR",
    "modification": "cascade",
    "face_detectors": [
        {
            "unit_type": "FACE_DETECTOR",
            "modification": "ssyv",
            "version": 3
        },
        {
            "unit_type": "FACE_DETECTOR",
            "modification": "uld",
            "precision_level": 2
        },
    ],
};

ProcessingBlock faceDetector = service.createProcessingBlock(configCtx);

C#

Dictionary<object, object> detectorConfigCtx = new()
{
    ["unit_type"] = "FACE_DETECTOR",
    ["modification"] = "cascade",
    ["face_detectors"] = new List<object>
    {
        new Dictionary<object, object>
        {
            ["unit_type"] = "FACE_DETECTOR",
            ["modification"] = "ssyv",
            ["version"] = 3
        },
        new Dictionary<object, object>
        {
            ["unit_type"] = "FACE_DETECTOR",
            ["modification"] = "uld",
            ["precision_level"] = 2
        }
    }
};

ProcessingBlock faceDetector = service.CreateProcessingBlock(detectorConfigCtx);

Java

Context detectorConfigCtx1 = service.createContext();
detectorConfigCtx1.get("unit_type").setString("FACE_DETECTOR");
detectorConfigCtx1.get("modification").setString("ssyv");
detectorConfigCtx1.get("version").setLong(3);

Context detectorConfigCtx2 = service.createContext();
detectorConfigCtx2.get("unit_type").setString("FACE_DETECTOR");
detectorConfigCtx2.get("modification").setString("uld");
detectorConfigCtx2.get("precision_level").setLong(2);

Context detectorConfigCtx = service.createContext();
detectorConfigCtx.get("unit_type").setString("FACE_DETECTOR");
detectorConfigCtx.get("modification").setString("cascade");
detectorConfigCtx.get("face_detectors").pushBack(detectorConfigCtx1);
detectorConfigCtx.get("face_detectors").pushBack(detectorConfigCtx2);
ProcessingBlock faceDetector = service.createProcessingBlock(detectorConfigCtx);

Kotlin

val detectorConfigCtx1 = service.createContext()
detectorConfigCtx1["unit_type"].string = "FACE_DETECTOR"
detectorConfigCtx1["modification"].string = "ssyv"
detectorConfigCtx1["version"].long = 3

val detectorConfigCtx2 = service.createContext()
detectorConfigCtx2["unit_type"].string = "FACE_DETECTOR"
detectorConfigCtx2["modification"].string = "uld"
detectorConfigCtx2["precision_level"].long = 2

val detectorConfigCtx = service.createContext()
detectorConfigCtx["unit_type"].string = "FACE_DETECTOR"
detectorConfigCtx["modification"].string = "cascade"
detectorConfigCtx.pushBack(detectorConfigCtx1)
detectorConfigCtx.pushBack(detectorConfigCtx2)
val faceDetector = service.createProcessingBlock(detectorConfigCtx)

NodeJS

let detectorConfigCtx1 = new facerec.Context();
detectorConfigCtx1.get("unit_type").value = "FACE_DETECTOR";
detectorConfigCtx1.get("modification").value = "ssyv";
detectorConfigCtx1.get("version").value = 3;

let detectorConfigCtx2 = new facerec.Context();
detectorConfigCtx2.get("unit_type").value = "FACE_DETECTOR";
detectorConfigCtx2.get("modification").value = "uld";
detectorConfigCtx2.get("precision_level").value = 2;

let detectorConfigCtx = new facerec.Context();
detectorConfigCtx.get("unit_type").value = "FACE_DETECTOR";
detectorConfigCtx.get("modification").value = "cascade";
detectorConfigCtx.get("face_detectors").push(detectorConfigCtx1);
detectorConfigCtx.get("face_detectors").push(detectorConfigCtx2);
const faceDetector = new facerec.ProcessingBlock(detectorConfigCtx);

Go

detectorConfig1 := facesdk.CreateContext()
context, err := detectorConfig1.GetOrInsertByKey("unit_type")
err = context.SetString("FACE_DETECTOR")
context, err = detectorConfig1.GetOrInsertByKey("modification")
err = context.SetString("ssyv")
context, err = detectorConfig1.GetOrInsertByKey("version")
err = context.SetInt(3)
defer detectorConfig1.Close()

detectorConfig2 := facesdk.CreateContext()
context, err = detectorConfig2.GetOrInsertByKey("unit_type")
err = context.SetString("FACE_DETECTOR")
context, err = detectorConfig2.GetOrInsertByKey("modification")
err = context.SetString("uld")
context, err = detectorConfig2.GetOrInsertByKey("precision_level")
err = context.SetInt(2)
defer detectorConfig2.Close()

detectorConfig := facesdk.CreateContext()
context, err = detectorConfig.GetOrInsertByKey("unit_type")
err = context.SetString("FACE_DETECTOR")
context, err = detectorConfig.GetOrInsertByKey("modification")
err = context.SetString("cascade")
context, err = detectorConfig.GetOrInsertByKey("face_detectors")
err = context.PushBack(detectorConfig1)
err = context.PushBack(detectorConfig2)
defer detectorConfig.Close()

faceDetector, err := service.CreateProcessingBlock(detectorConfig)
defer faceDetector.Close()