Компоненты

OMNI Agent принимает видеопотоки с камер и видеофайлы через RTCP-протоколы. Затем модули OMNI Agent детектируют лица на полученных кадрах, определяют атрибуты лиц, строят биометрические шаблоны и выполняют поиск обнаруженных лиц по базе данных.

Параллельно выполняется трекинг лиц, тел и джоинтов скелета: от кадра к кадру вычисляется вектор смещения области лица, тела или джоинта, т.е. подтверждается или опровергается прогноз следующей координаты лица, тела или джоинта с фильтрацией ложных срабатываний.

Сформированные треки лиц, тел и джоинтов скелета используются как входные данные для детекции нахождения людей в области интереса (ROI), пересечения людьми размеченных на видеопотоке линий. По трекам тел также ведётся распознавание действий человека включая драки, падения, лежание и сидение (HAR) и отслеживание людей на карте помещения (Map tracking).

Собранные данные по каждому обнаруженному человеку в формате процессов и событий передаются в OMNI Platform или сторонний сервис (через вебхук или MQTT).