Перейти к основному содержимому
Версия: 3.23.1

Оценка позы человека

Обзор

Процесс оценки позы человека в Face SDK состоит из нескольких этапов: детекции тела и определения позы.

Детекция тел

Для детекции тел в FaceSDK используются процессинг-блоки:

  • *HUMAN_BODY_DETECTOR* (Детектор тел)
  • *OBJECT_DETECTOR* (Детектор объектов)

Модификации и версии детекторов

Тип Модификация Версия Версия Face SDK Время детекции CPU (мс)*
640x4801280x7201920x1080
HUMAN_BODY_DETECTORssyv13.19238 236 237
OBJECT_DETECTORssyx13.192095 2031 2036
* - CPU Intel Xeon E5-2683 v4 (1 ядро)

Спецификация детекторов

  • Входной контейнер Context должен содержать изображение в бинарном формате.
{
"image" : {
"format": "NDARRAY",
"blob": "data pointer",
"dtype": "uint8_t",
"shape": [height, width, channels]
}
}

Пример детекции тел

Создание процессинг-блоков

Создайте объект процессинг-блок детектора и фиттера с помощью метода FacerecService.createProcessingBlock, передав в качестве аргумента контейнер Context с установленными параметрами.

auto detectorConfigCtx = service->createContext();
detectorConfigCtx["unit_type"] = "HUMAN_BODY_DETECTOR";
pbio::ProcessingBlock bodyDetector = service->createProcessingBlock(detectorConfigCtx);

Запуск детекции

Нужно подать контейнер Context с бинарным изображением в процессинг-блок детектора:

ioData["image"] = imgCtx;
bodyDetector(ioData);

Результат выполнения детекции лица сохраняется переданный контейнер Context согласно спецификации процессинг-блока.

Оценка позы человека

Для оценки позы человека используется процессинг-блок HUMAN_POSE_ESTIMATOR

Модификации и версии

Модификация Версия Версия Face SDK Время детекции CPU (мс)* Время детекции GPU (мс)**
heavy13.161936
* - CPU Intel Xeon E5-2683 v4 (1 ядро)
** - GPU (NVIDIA GTX 10xx серия)

Спецификация процессинг-блока оценки позы человека

  • Входной контейнер Context должен содержать изображение в бинарном формате и массив объектов, полученных от детектора
{
"image" : {
"format": "NDARRAY",
"blob": "data pointer",
"dtype": "uint8_t",
"shape": [height, width, channels]
},
"objects": [{
"id": {"type": "long", "minimum": 0},
"class": "body",
"confidence": {"double", "minimum": 0, "maximum": 1},
"bbox": [x1, y2, x2, y2]
}]
}

Пример оценки позы человека

  1. Создайте объект процессинг-блок оценки позы с помощью метода FacerecService.createProcessingBlock, передав в качестве аргумента контейнер Context с установленными параметрами.
auto configCtx = service->createContext();
configCtx["unit_type"] = "HUMAN_POSE_ESTIMATOR";
pbio::ProcessingBlock humanPoseEstimator = service->createProcessingBlock(configCtx);
  1. Выполните обнаружение человека с помощью BodyDetector или ObjectDetector, как описано в разделе Запуск детекции.

  2. Передайте полученный Context-контейнер методу humanPoseEstimator():

humanPoseEstimator(ioData);