Архитектура

Все модули OMNI Agent делятся на основные и инфраструктурные. Основные модули реализованы в виде пайплайнов обработки лиц и тел людей.

Основные модули	Функции
Camera Handler	Разбиение видеопотока с камеры или видеофайла на кадры и подготовка кадров к обработке
Обработка кадров тел людей
Body Detector Processing Block	Детекция тел людей на кадрах
Byte Track Processing Block	Реализует алгоритм Byte Track для улучшения качества работы детектора людей.
View Transform Handler	Переводит координаты детекций людей с камеры на карту помещения.
Multistream Mapping Handler	Производит объединение положения детекций на карте помещения с разных камер.
Embeddings Processing Block	Создание эмбеддингов по кропам тел. В данном случае эмбеддинг - это векторное представление задетектированного тела
Reidentification Handler	Формирование треков людей и реидентификация. В процессе детекции каждому кадру присваивается track_id. Если на последовательности кадров идентифицируется один и тот же человек, track_id всех относящихся к нему кадров меняются на track_id первого кадра, принадлежащего этому человеку
Body Track Handler	Формирование и обработка путей перемещения людей на кадрах (трекинг)
Hpe Resnet V1D Processing Block	Является внутренним компонентом пайплайна HAR. Определяет положение скелета человека на кадре.
Har Container Processing Block	Производит агрегацию положений скелета человека во времени в общий контейнер.
Har Pose C3D Processing Block	Является внутренним компонентом пайплайна HAR. Определяет класс положения человека.
Har Hll Processing Block	Детектирует action у человека.
Обработка кадров лиц людей
Videoworker Callbacks Handler	Детекция лиц
Face Track Handler	Оценка атрибутов лиц в кадре (пол, возраст, эмоции, liveness, наличие маски), поиск похожих лиц по базе данных агента и платформы (через модуль Database Sync Handler). При наличии совпадений с базой, ID изображения из базы также записывается в результат обработки
Attentions Handler	Оценка внимания человека (смотрит ли человек на кадре в камеру)
Human Process Handler	Результаты обработки лиц и тел людей передаются в модуль Human Process Module, где преобразуются в форму процессов агента для последующей передачи в OMNI Platform или внешний сервис через вебхуки

Инфраструктурные модули	Функции
Activation Module	Модуль отвечает за активацию агента
Webhooks Handler	Передача процессов по вебхукам во внешний сервис
Server Connection Handler	Передача процессов в OMNI Platform
Webhook Data Projection Handler	Модуль занимающийся проецированием данных в JSON-подобный документ для последующей передачи по вебхукам.
Server Data Projection Handler	Модуль занимающийся проецированием данных в JSON-подобный документ для последующей передачи в OMNI Platform.
Database Sync Handler	Синхронизация локальной базы данных с базой данных OMNI Platform
Reconfiguration Handler	Доступ к файлам конфигурации, перенастройка агента без перезапуска приложения
Preview Handler	Создание превью (кадров с камеры с отрисованными детекциями, которые передаются в веб-интерфейс OMNI Agent)
Frontend Handler	Управление агента как веб-приложения
External Process Handler	Приведение сигналов начала и окончания внешних событий к интервальному виду (процессов)
Http Redirection Module	Перенаправление запросов на сервер платформы
Multisource Handler	Модуль создает пайплайн модулей обработки для каждого нового видеопотока
Trace Handler	Модуль отвечает за сборку трейсов (логов) с модуля Body Detector
Custom Resources Provider	Точка сбора информации о числе видимых людей, и кадров с камеры, предоставляющая доступ к этим данным через внутренний API.