Перейти к основному содержимому
Версия: 2.6.0

Архитектура

Основные модулиФункции
Activation ModuleМодуль отвечает за активацию OMNI Agent.
Camera HandlerРазбиение видеопотока с камеры или видеофайла на кадры и подготовка кадров к обработке.
Human Process HandlerРезультаты обработки лиц и тел людей передаются в модуль Human Process Module, где преобразуются в форму процессов и событий для последующей передачи в OMNI Platform или внешний сервис через вебхуки или MQTT.
Обработка кадров тел людейФункции
Body Detector Processing BlockДетекция тел людей на кадрах.
Byte Track Processing BlockРеализует алгоритм Byte Track для улучшения качества работы детектора людей.
View Transform HandlerПереводит координаты детекций людей с камеры на карту помещения.
Multistream Mapping HandlerОбъединяет положения детекций на карте помещения с разных камер.
Embeddings Processing BlockСоздает эмбеддинги по кропам тел. В данном случае эмбеддинг — это векторное представление задетектированного тела.
Reidentification HandlerФормирование треков людей и реидентификация. В процессе детекции каждому кадру присваивается track_id. Если на последовательности кадров идентифицируется один и тот же человек, track_id всех относящихся к нему кадров меняются на track_id первого кадра, принадлежащего этому человеку.
Body Track HandlerФормирование и обработка путей перемещения людей на кадрах (трекинг).
Hpe Resnet V1D Processing BlockВнутренний компонент пайплайна HAR. Определяет положение скелета человека на кадре.
Har Container Processing BlockПроизводит агрегацию положений скелета человека во времени в общий контейнер.
Har Pose C3D Processing BlockВнутренний компонент пайплайна HAR. Определяет класс положения человека.
Har Hll Processing BlockДетектирует действие человека.
Обработка кадров лиц людейФункции
Videoworker Callbacks HandlerДетекция лиц
Face Track HandlerОценка атрибутов лиц в кадре (пол, возраст, эмоции, Liveness, наличие маски), поиск похожих лиц по базе данных OMNI Agent и OMNI Platform (через модуль Database Sync Handler). При наличии совпадений с базой, ID изображения из базы также записывается в результат обработки.
Attentions HandlerОценка внимания человека (смотрит ли человек на кадре в камеру).
Инфраструктурные модулиФункции
Webhooks HandlerПередача процессов по вебхукам во внешний сервис.
Server Connection HandlerПередача процессов в OMNI Platform
Webhook Data Projection HandlerМодуль проецирует данные в JSON-подобный документ для последующей передачи по вебхукам.
Server Data Projection HandlerМодуль проецирует данные в JSON-подобный документ для последующей передачи в OMNI Platform.
Database Sync HandlerСинхронизация локальной базы данных с базой данных OMNI Platform.
Reconfiguration HandlerДоступ к файлам конфигурации, перенастройка OMNI Agent без перезапуска приложения.
Preview HandlerСоздание превью (кадров с камеры с отрисованными детекциями, которые передаются в дашборд OMNI Agent).
Frontend HandlerУправление OMNI Agent как веб-приложением.
External Process HandlerПриведение сигналов начала и окончания внешних событий к интервальному виду (процессов).
Http Redirection ModuleПеренаправление запросов на сервер OMNI Platform.
Multisource HandlerМодуль создает пайплайн модулей обработки для каждого нового видеопотока.
Trace HandlerМодуль отвечает за сборку трейсов (логов) с модуля Body Detector.
Custom Resources ProviderТочка сбора информации о числе видимых людей и кадров с камеры, предоставляющая доступ к этим данным через внутренний API.
MQTT Data Projection HandlerПроецирует данные процессов для последующей отправки по локальной очереди MQTT.
MQTT HandlerОтправляет данные в локальную очередь.