Ситуационная видеоаналитика Sentinel ROI. Нововведения 2023, планы 2024

Ситуационная видеоаналитика Sentinel ROI – это один из самых востребованных программных продуктов ООО "КомплИТех". Он предназначен для анализа ситуаций в сцене видеонаблюдения с использованием нейросетевых детекторов линий и зон контроля, а также нейросетевых методов классификации объектов и распознавания ситуаций. ПО Sentinel ROI постоянно развивается в интересах заказчиков. Давайте посмотрим, что изменилось в нем в 2023 году и чего ожидать в 2024-м.

Системы видеоанализа Complitech включают в себя комплекс алгоритмов машинного зрения, встраиваемых в производственные процессы организаций, которые позволяют автоматизировать решение задач контроля и безопасности, получение объективной оценки эффективности бизнеса и предоставление статистических данных с использованием метода глубинного обучения сверхточных нейронных сетей.

2023

1. Крупным нововведением 2023 года стало появление функции сохранения всего кадра со сработкой. Если ранее оператор системы видеонаблюдения получал лишь текстовое сообщение о сработке (например, пересечение линии), то теперь он может кликнуть по ссылке в уведомлении и увидеть, что конкретно произошло.
2. Внедрения и пилотные проекты, выполненные в 2023 году, обеспечили нам возможность улучшить применяемые нейросетевые модели. В частности, на основе кейса подсчета автомобилей, стоящих в очереди на АЗС и визуально перекрывающих друг друга, нейросетевая модель была дообучена достовернее предсказывать невидимые части транспортных средств. Это сразу позволило поднять точность работы Sentinel ROI в других подобных ситуациях перекрывающихся объектов.
3. Благодаря одному из пилотных проектов удалось подобрать баланс между точностью нейросетевой модели и потреблением вычислительных ресурсов. Оптимизировав размер нейросетевого детектора, мы добились адекватного количества видеокамер, обрабатываемых одной видеокартой с высокой точностью.
4. В рамках другого проекта, связанного с распознаванием (классификацией) и подсчетом (довольно мелких) объектов на конвейере, мы работали в ситуации быстрого движения в кадре. Коробки, пакетики и свертки разного калибра проносились через линии или заезжали в зоны за 5 кадров вместо, скажем, 60. Требовалось очень часто анализировать кадры. Для видеоаналитики это сложная ситуация, поскольку требует избыточных вычислительных ресурсов и ограничивает количество видеокамер на определенный бюджет вычислительных мощностей. Для проекта была создана отдельная нейросетевая модель. В результате проведения тщательных работ по обучению модели и оптимизации нейросетевого детектора система готова успешно работать в других похожих ситуациях – на складах, в логистических центрах, терминалах и на промышленных предприятиях.
5. В проекте городского видеонаблюдения, при подсчете транспортных средств, помимо перекрытия объектов мы столкнулись с другими интересными вызовами – разнообразными автопоездами и фурами, а также довольно низким разрешением видеокамер (ниже FullHD и даже HD). Грузовик или трактор с прицепом считаются за одно транспортное средство. Но два автомобиля, связанные буксировочным тросом, за два. Задачу подсчета автопоездов гораздо сложнее формализовать по сравнению с подсчетом перекрывающих друг друга объектов. Поэтому на протяжении 2023 года мы собирали данные, добавляли их в разметку, регулярно переобучали модель и обновляли развернутую систему. Наш подход, основанный на подобных итерациях и сравнении объективных метрик, позволяет постоянно совершенствовать работу аналитики как в интересах уже реализованных проектов, так и новых.
6. Проведена серия успешных экспериментов.
   Во-первых, осуществили развертывание системы ситуационного видеоанализа Sentinel ROI на микросервере с видеокартой нового поколения Jetson Orin. В обозримом будущем компания NVIDIA полностью сосредоточится на развитии и поддержке этого новейшего в своей линейке чипа. И мы уже готовы к миграции.
   Во-вторых, протестировали гибридный метод анализа – путем сочетания метода оценки движения в кадре на основе оптического потока и метода нейросетевого видеоанализа для радикального сокращения затрат вычислительных ресурсов при работе ситуационной видеоаналитики на стационарных видеокамерах. Оптический поток – это изображение видимого движения, представляющее собой сдвиг каждой точки (пикселя) между двумя изображениями (кадрами). Идея в том, чтобы при практически нулевом оптического потоке не запускать нейросеть вхолостую и активировать ее, только когда оптический поток превышает определенный порог. В дальнейшем, в качестве развития этого метода, получится запускать нейросетевую модель только в тот участок на кадре, где происходит перемещение пикселей.
7. Вишней на торте стало проведение полной интеграции ситуационной видеоаналитики Sentinel ROI с программной платформой верхнего уровня управления безопасностью Sentinel R. Пользователи PSIM-платформы Sentinel R получили новейший встроенный инструмент автоматизированного контроля происходящего на объекте.
   
   В практическом смысле это расширило их возможности по созданию карточек инцидентов, а также помогло упростить, ускорить и упорядочить обработку событий от ситуационной аналитики.

2024

1. Текущий год проходит для нас под знаком развития нейросетевого детектора поз людей для анализа их поведения. Мы создаем специальную модель, которая определяет координаты головы, рук, ног, плечей, локтей, коленей и т.д. (ключевых узлов) и рисует скелет поверх изображения человека в кадре. Скоро у пользователей нашей аналитики появится возможность обнаруживать в видеопотоке позу стрелка, позу "руки вверх" и др. в автоматизированном режиме и принимать незамедлительные решения. Наша задача как разработчиков – точно интерпретировать позы, чтобы аналитика надежно работала и ложные сработки были сведены к минимуму.
2. В ближайших планах также решить вопросы оптимизации кода и внутренней архитектуры программного обеспечения для работы с высокопроизводительными видеокартами.

Источник: пресс-релиз компании "КомплИТех"

Фото предоставлены компанией "КомплИТех"