Бенчмарки
Нагрузочное тестирование сервисов
Нагрузочное тестирование позволяет оценить качество и скорость работы сервисов Image API под определённой нагрузкой на заданном интервале времени. В качестве тестового изображения используется изображение в формате JPEG размером 438 Кбайт (1024х1024 px).
Примечание: При тестировании изображений большего размера снижается скорость выполнения запросов.
Спецификация системы, на которой проводилось тестирование:
- CPU: AMD Ryzen 9 5950X 16-Core (32 потока)
- GPU: GeForce GTX 1080 Ti
- RAM: 120 ГБ
Параметры нагрузочного тестирования:
- Подаваемый RPS - кол-во поступающих запросов в секунду
- Кол-во реплик
- Время запроса (мс) AVG - среднее время выполнения 1 запроса, в мс
Результаты нагрузочного тестирования Image API:
| Сервис | Подаваемый RPS | Кол-во реплик | Время запроса (мс) AVG |
| face-detector-face-fitter | 1 | 1 | 77,25 |
| 112 | 88 | 583,93 | |
| age-estimator | 1 | 1 | 34,79 |
| 192 | 32 | 634,21 | |
| gender-estimator | 1 | 1 | 35,05 |
| 176 | 48 | 620,79 | |
| verify-matcher | 1 | 1 | 4,08 |
| 64 | 20 | 23,34 | |
| quality-assessment-estimator | 1 | 1 | 74,08 |
| 96 | 80 | 632,52 | |
| face-detector-template-extractor (GPU) | 1 | 1 | 105,80 |
| 8 | 1 | 674,42 | |
| face-detector-template-extractor (CPU) | 1 | 1 | 481,53 |
| 4 | 18 | 564,23 | |
| body-detector | 1 | 1 | 171,94 |
| 16 | 32 | 534,46 | |
| emotion-estimator | 1 | 1 | 49,17 |
| 96 | 32 | 653,64 | |
| mask-estimator | 1 | 1 | 35,01 |
| 192 | 96 | 686,04 |
Точность работы сервисов
Точность работы сервисов age-estimator, gender-estimator и emotion-estimator
| Сервис | Точность |
| age-estimator | +/- 3,95 лет |
| gender-estimator | 95% |
| emotion-estimator | 80% |
Точность работы сервиса mask-estimator
Для расчета точности используются следующие метрики:
- Precision (точность): показывает, с какой точностью работает сервис, представляет собой число верных положительных результатов по отношению ко всем положительным результатам.
- Recall (полнота): показывает, насколько полно сервис охватывает верные результаты, представляет собой число верных положительных результатов по отношению ко всем результатам, которые должны быть положительными.
- F1 score - один из способов объединить метрики precision и recall в агрегированный критерий точности. F1 score достигает максимума при полноте и точности, равных единице, и близок к нулю, если один из аргументов близок к нулю. F1 score - среднее гармоническое (с множителем 2, чтобы в случае precision = 1 и recall = 1 иметь F1 = 1).
| Метрика | Значение |
| Precision | 0,9967532468 |
| Recall | 0,9903225806 |
| F1 score | 0,9935275081 |
Точность работы сервиса face-detector-liveness-estimator
Для расчета точности используются следующие метрики:
- APCER: показывает долю атак валидационного датасета, которые были классифицированы как реальные биометрические предъявления.
- BPCER: отражает долю реальных биометрических предъявлений, классифицированных как атаки.
| Тип изображения | Метрика | Значение |
| реальное лицо | BPCER | 0,29981 |
| фотография | APCER | 0,04911 |
| фотография без заднего фона | APCER | 0,12 |
| атака повторного воспроизведения | APCER | 0,01339 |
| 2D маска | APCER | 0,02888 |
| 3D маска | APCER | 0,01333 |
Примечание: время запроса в среднем составило 0,3 секунды.