Видеоаналитика в мультиформатной розничной компании X5 Retail Group
Артур Кузин 10/02/20
В декабре 2018 г. в целях повышения показателей эффективности руководство X5 Retail Group объявило о внедрении систем видеоаналитики в торговых сетях. Для работы по этому направлению на базе компьютерного центра был создан единый центр компетенций решений. В результате запуск пилота на 30 объектах привел к успешным результатам и последующему разворачиванию системы.
Компания X5 Retail Group пилотирует с помощью видеоаналитики несколько ключевых направлений: анализ доступности товара на полках, табелирование, контроль очередей и пр. Рассмотрим конкретные кейсы и примеры работы решений на реальных данных в разные временные отрезки.
Анализ доступности товаров на полках
Первым и самым проработанным кейсом стал анализ доступности товара на полках. Задача формулируется очень просто: иметь полки, заполненные разным товаром, а не полупустые с однообразным ассортиментом продуктов.
Вначале в одном из магазинов "Перекресток" были установлены камеры, одна из которых была поворотной и снимала полку, делала панораму и сшивала ее, а сотрудники параллельно фотографировали молочную продукцию на планшеты для дальнейшего анализа.
Кроме того, одна из "Пятерочек" была переоборудована под полигон для испытаний разного рода инноваций, в том числе и видеоаналитики. В ней были установлены Fisheye-камеры, часть из которых смотрела на полки.
Выделение пустот
Пустоты на полках отличаются друг от друга и по-разному влияют на бизнес. Есть пустоты, где товар закончился на всей полке, а есть пустоты только в ее начале или в конце. Есть также ряд пустот, которые сложно отнести к какому-либо классу как разметчикам, так и алгоритму. Их мы выделяем в отдельный класс, чтобы улучшить метрики по "чистым" классам.
Необходимо также разделение пустот на промотоварные и непромотоварные, поскольку они по-разному влияют на бизнес-процессы. В итоге мы имеем набор пустот, которые наиболее полным образом описывают ситуацию на полке.
Из них мы можем собрать нужные бизнесу метрики под каждую торговую сеть без переобучения моделей.
Пустоты другого рода
Подход по разделению пустот очень хорошо транслируется на фрукты/овощи. Если считать каждый ящик отдельной полкой, то можно измерить пустоту ящика. Здесь важно сделать некоторые разделители, чтобы ящики не "слипались" друг с другом, но это технические вопросы, которые легко решаются.
Подходы людей
Довольно часто полку заслоняют покупатели, поэтому мы разделили людей на сотрудников и несотрудников. Если на полке появилась пустота, к ней подошел сотрудник и произвел какие-то действия, но пустота не исчезла, значит он сделал что-то неправильно. Такие данные тоже помогают выстраивать процессы в магазине.
Определение товаров
Видеоаналитика позволяет видеть, что на полке не хватает или вообще нет конкретных товаров. Для этого используется класс-агностик-детектор, который определяет все товары как один класс.
Помимо этого, мы детектируем промоценники и обычные ценники. Далее мы нарезаем кропы товаров, чтобы определять их класс с точностью до конечного PLU. Однако из-за того, что некоторые товары находятся в ротации, мы не можем применять этот Pipeline бесконечно долго. Поэтому мы извлекаем эмбеддинги из модели и строим на них аппроксимацию KNN, используя nmslib. То есть переобучаем только ту часть, которая определяет KNN, а все остальные модели фиксированы и не зависят от того, какие товары в данный момент времени мы детектируем.
График зависимости уникальных PLU показывает, какие товары стоят на полке в данный момент времени. Если есть значимые изменения в разнообразии товаров, то это видно на графике (рис. 2).
Глоссарий
- Эмбеддинг (англ. Embedding) – векторное представление объектов. Одинаковое либо очень близкое для одного и того же объекта в разных условиях. И разное для похожих, но разных объектов.
- KNN (k Nearest Neighbours, метод ближайших соседей) – алгоритм решения задач классификации или регрессии, который строит предсказания на основе ближайших объектов с известными значения целевой переменной.
- nmslib – библиотека с апроксимацией алгоритма KNN. https://github.com/nmslib/nmslib.
- MTCNN – архитектура нейросети, разработанная для детектирования и выравнивания лица человека
Метрики
Благодаря видеоаналитике можно собирать метрики, исходя из того, что происходит на полке в данный момент времени и что происходило в прошлом за разные временные отрезки. Используя предсказания всех моделей, мы собираем метрики, которые анализируются супервайзерами и отображаются в двух местах:
- в каждом в магазине на мониторе, где сотрудники могут видеть, что происходит в разных отделах, и оперативно на это реагировать;
- на центральном сервере, куда стекается статистика со всех магазинов и строятся дашборды.
Больше статей по теме "Умный ритейл" >>
Распознавание лиц
В кейсе распознавания лиц мы сначала детектируем лицо с помощью MTCNN и затем выделяем ключевые точки, чтобы выровнять лицо. После выравнивания оно выглядит как фото на паспорт, только немного искаженное.
Далее мы используем нейросеть, которая выдает эмбеддинги. Это набор абстрактных признаков, которые должны быть разные у людей, не похожих друг на друга и совпадать у одного человека, даже если он был снят в разных условиях.
После этого мы обучаем nmslib. Примечательно то, что мы не обучаем модели под конкретную задачу, мы подбираем трешхолд, по которому определяем, есть ли этот человек в базе или нет.
Антиспуфинг
Обычно мошенники пытаются обмануть систему, показав фотографию в телефоне или на бумаге. Система должна определить, кто перед ней – фейк либо реальный человек. Для этой задачи у нас есть очень хорошее решение, которое мы получили, заняв топовое место в соревновании по машинному обучению.
Мы сделали Web-сервис, который по собранной базе может определить, что перед ним конкретный человек. Решение мы портировали на прайс-чекер – дешевое легковесное устройство с Андроидом, которое за три секунды определяет, реальное это лицо или фото.
Определение очередей
В этом кейсе все очень банально: мы считаем количество людей в конкретной области и говорим, что это, например, очередь из трех человек. В более продвинутом варианте мы считаем головы и части тела, а дальше по модели второго уровня определяем, что если видно две головы, два человека и три части тела, то, скорее всего, в очереди семь человек.
В качестве библиотеки здесь можно использовать NVIDIA RetinaNet, которая позволяет вести обработку в режиме реального времени. В результате мы получаем достаточно дешевое решение для контроля количества людей в очереди либо подсчета других объектов.
Распознавание действий
Алгоритм распознавания действий позволяет определить, что человек в конкретный момент времени взял конкретный товар. При этом можно сделать сличение людей с двух камер по внешним признакам, которые не связаны с лицом (например, по одежде) и понять, что это один и тот же человек. Кроме того, можно строить скелет людей на изображении, детектировать их руки и определять, что в руке что–то есть. И все это – в реальном времени на видеокарте достаточно низкого уровня.
Опубликовано в журнале "Системы безопасности" №6/2019
Больше материалов по теме "Нейронные сети" >>>
Изображение сгенерировано нейросетью, фото предоставлены автором
- Безопасность объектов (307)
- Пожарная безопасность (278)
- Видеонаблюдение (277)
- Комплексная безопасность (277)
- СКУД (259)
- Транспортная безопасность (172)
- Пожарная сигнализация (139)
- Каталог "Пожарная безопасность" (127)
- Мнения экспертов (117)
- Цифровая трансформация (112)
- Видеоаналитика (107)
- Биометрия (97)
- Видеокамеры (97)
- Искусственный интеллект (86)
- Пожаротушение (64)
- Цифровое ЖКХ (60)
- Информационная безопасность (57)
- Киберзащита (57)
- Места с массовым пребыванием людей (57)
- Журнал "Системы безопасности" №1/2021 (48)
- Журнал "Системы безопасности" №6/2023 (48)
- Ритейл (48)
- Охрана периметра (46)
- Журнал "Системы безопасности" №6/2021 (45)
- Журнал "Системы безопасности" №2/2022 (43)
- Журнал "Системы безопасности" №1/2022 (42)
- Журнал "Системы безопасности" №1/2023 (42)
- Беспроводные технологии (41)
- Журнал "Системы безопасности" №5/2022 (41)
- Журнал "Системы безопасности" №5/2024 (41)
- Журнал "Системы безопасности" №6/2022 (41)
- Журнал "Системы безопасности" №2/2020 (40)
- Журнал "Системы безопасности" №3/2020 (39)
- Журнал "Системы безопасности" №3/2022 (39)
- Журнал "Системы безопасности" №5/2023 (39)
- Журнал "Системы безопасности" №6/2019 (39)
- Журнал "Системы безопасности" №1/2024 (38)
- Журнал "Системы безопасности" №4/2023 (38)
- Журнал "Системы безопасности" №4/2024 (38)
- Журнал "Системы безопасности" №5/2021 (38)
- Умный дом (38)
- Журнал "Системы безопасности" №4/2022 (37)
- Технологии распознавания (37)
- Журнал "Системы безопасности" №2/2021 (36)
- Журнал "Системы безопасности" №3/2023 (36)
- Журнал "Системы безопасности" №5/2020 (36)
- Журнал "Системы безопасности" №3/2021 (35)
- Журнал "Системы безопасности" №4/2020 (35)
- Журнал "Системы безопасности" №1/2020 (34)
- Рынок безопасности (34)
- Журнал "Системы безопасности" №2/2023 (33)
- Журнал "Системы безопасности" №2/2024 (33)
- Журнал "Системы безопасности" №6/2020 (33)
- Защита от БПЛА (33)
- ТЭК и нефтегаз (33)
- Журнал "Системы безопасности" №5/2019 (31)
- Журнал "Системы безопасности" №4/2021 (30)
- Тепловидение (30)
- Автоматизация зданий (29)
- Журнал "Системы безопасности" №6/2024 (29)
- Центры обработки данных (ЦОД) (29)
- Интернет вещей (IoT) (28)
- Журнал "Системы безопасности" №3/2024 (27)
- Машинное зрение (27)
- Умный город (27)
- Антидрон (25)
- Журнал "Системы безопасности" №4/2019 (25)
- Идентификация (25)
- Безопасность (24)
- Импортозамещение (24)
- Нейросети (24)
- СОУЭ (24)
- Транспорт (24)
- Журнал "Системы безопасности" №3/2019 (22)
- Облачные технологии (22)
- Охрана труда и промышленная безопасность (ОТиПБ) (20)
- Банки и финансы (19)
- Промышленность (19)
- PSIM (17)
- НВП "Болид" (17)
- Антитеррор (16)
- Журнал "Системы безопасности" №1/2025 (16)
- COVID-19 (15)
- Досмотр (15)
- Охрана объектов (15)
- Интеграция (14)
- Новости компаний (14)
- Аргус-Спектр (13)
- Исследование (13)
- Турникеты (13)
- Итоги (12)
- Охранная сигнализация (12)
- Рейтинги (12)
- Системы хранения данных (СХД) (12)
- Удаленный доступ (12)
- All-over-IP (11)
- Beward (11)
- Извещатели (11)
- BioSmart (10)
- CCTV (10)
- Автоматизация (10)
- Безопасный город (10)
- Домофоны (10)
- МЧС России (10)
- Проектирование и монтаж (10)
- Распознавание лиц (10)
- Сертификация (10)
- ТБ Форум (10)
- IdM (9)
- Взрывозащита (9)
- Дайджест (9)
- Источники бесперебойного питания (ИБП) (9)
- Роботизация (9)
- Axis Communications (8)
- PERCo (8)
- Интервью (8)
- Стрелец-ПРО (8)
- ААМ Системз (7)
- АРМО-Системы (7)
- Авиакомпании и аэропорты (7)
- БАС (7)
- Болид (7)
- ИТ-инфраструктура (7)
- Метрополитен (7)
- ПБ (7)
- Программное обеспечение (7)
- DSSL (6)
- Бизнес, идеи и мнения (6)
- Лидеры технологий (6)
- Радиоканальные системы (6)
- АСУ ТП (5)
- Беспилотники (5)
- Индустрия 4.0 (5)
- Металлургия (5)
- Мобильный доступ (5)
- Шлагбаумы (5)
- IDIS (4)
- ITV Group (4)
- Бюро Технического Развития (4)
- Журнал "Системы безопасности" (4)
- Законодательство (4)
- ИПДА (4)
- ИТ-отрасль (4)
- Коммутаторы (4)
- Компании (4)
- Машинное обучение (4)
- Регулирование (4)
- ТД Актив-СБ (4)
- Тестирование (4)
- BIM-технологии (3)
- PERCo-Web (3)
- Smartec (3)
- dormakaba (3)
- АСКУЭ (3)
- АУП (3)
- Агрокомплекс (3)
- Алкотестер (3)
- Астрон (3)
- Безопасность КИИ (3)
- Важные люди (3)
- Гибридная война (3)
- Защита информации и связи, кибербезопасность (3)
- Информационные технологии (3)
- Колонка эксперта (3)
- Микроэлектроника (3)
- ОПС (3)
- Персональные данные (3)
- Промышленная автоматизация (3)
- Противотаранные устройства (3)
- СУРВ (3)
- Сельское хозяйство (3)
- ТЕКО (3)
- Трибуна заказчика (3)
- Умные парковки (3)
- Учет рабочего времени (3)
- Эксклюзив (3)
- 5G (2)
- ACaaS (2)
- EverFocus (2)
- IT-системы (2)
- Iron Logic (2)
- PALMJET (2)
- PCI DSS (2)
- Parsec (2)
- RPA (2)
- RusGuard (2)
- SaaS (2)
- Synology (2)
- TRASSIR (2)
- Vidau Systems (2)
- ZKTeco (2)
- АО "ОКБ "АСТРОН" (2)
- Астра-А (2)
- Аттестация (2)
- Аттестация персонала (2)
- Безопасность данных (2)
- Беспроводные системы (2)
- Виртуальный рабочий стол (2)
- Главгосэкспертиза (2)
- Делетрон (2)
- ИТС (2)
- Инновации (2)
- Кабельная продукция (2)
- Категорирование (2)
- Контроллеры (2)
- Конференции (2)
- Корпоративная безопасность (2)
- Критически важные объекты (КВО) (2)
- Мероприятия по безопасности (2)
- Метро (2)
- Минтранс (2)
- Объекты культурного наследия (2)
- Охранный мониторинг (2)
- ПО (2)
- Производитель (2)
- РЖД (2)
- Росгвардия (2)
- ССОИ (2)
- Ситуационные центры (2)
- Современный офис (2)
- Стандарты, нормы и требования (2)
- Строительная экспертиза (2)
- Термокожухи (2)
- Тоннели (2)
- Хранение оружия (2)
- ЦеСИС НИКИРЭТ (2)
- Цифровизация (2)
- Цифровые технологии (2)
- Энергетика (2)
- логистика (2)
- 3D-моделирование (1)
- Ajax (1)
- Axis Talk 2021 (1)
- BARNET (1)
- BIM- моделирование (1)
- BYOD (1)
- Basler AG (1)
- Beyond Security (1)
- Big Data (1)
- Bosch (1)
- CMOS-технология (1)
- COPE (1)
- ChatGPT (1)
- Cloud4Y (1)
- D-link (1)
- DBaaS (1)
- DCImanager (1)
- DDoS-атаки (1)
- DIS Group (1)
- Dahua (1)
- Deep Learning (1)
- EAS-система (1)
- EKF (1)
- Edge AI + Vision (1)
- Face ID (1)
- FaceStation 2 (1)
- Faceter Russia (1)
- Flamax (1)
- GDPR-террористы (1)
- Grundig Security (1)
- Guard SaaS (1)
- HID Global (1)
- HR Tech (1)
- Hanwha Techwin (1)
- Hi-Tech Security (1)
- Hikvision Russia (1)
- Hrtech (1)
- IP-коммуникации (1)
- IP-протокол (1)
- IP-системы (1)
- ISPsystem (1)
- IT-инфраструктура (1)
- IaaS (1)
- InPrice Distribution (1)
- InfoWatch Traffic Monitor (1)
- Intel (1)
- Intelligent Video (1)
- Karneev Systems (1)
- Milestone Systems (1)
- Mission Critical (1)
- NAS (1)
- NFC (1)
- NFC BLE (1)
- NOVIcam (1)
- NVIDIA Jetson Nano (1)
- NVR (1)
- OSDP (1)
- OSRAM (1)
- ParsecNET 3 (1)
- Penetration Test (1)
- Phoenix Contact (1)
- QNAP (1)
- QR-коды (1)
- RPA-платформы (1)
- RecFaces (1)
- SIP (1)
- SVA/SVI (1)
- SVP/SVZ (1)
- Seagate (1)
- Seagate Technology (1)
- SecuriSmoke (1)
- Securika Moscow (1)
- Sicurezza (1)
- Sigur (1)
- Synology DVA3219 (1)
- UEM SafeMobile (1)
- Ultra-Wideband (1)
- VMS (1)
- VUCA-мир (1)
- deepfake (1)
- e-commerce (1)
- e-сommerce (1)
- eIVP1570 VE (1)
- АДИС (1)
- АМТ-ГРУП (1)
- АНВ (1)
- АПС rubetek (1)
- АСУДД (1)
- АУТП (1)
- Адресные СПС (1)
- Аналитика (1)
- Аспирационные системы (1)
- Астра-Z-8845 (1)
- Астра-Zитадель (1)
- Астра-РИ-М (1)
- БГ-Оптикс (1)
- БайтЭрг (1)
- Безопасный регион (1)
- Бесконтактный сканер (1)
- Беспилотный транспорт (1)
- Бизнес (1)
- Биотехнологии (1)
- Большие данные (1)
- Бун Эдам (1)
- В2В (1)
- В2С (1)
- Вентиляция (1)
- Верификация (1)
- Виртуальный ассистент (1)
- Вирусная активность (1)
- Вишинг (1)
- Всероссийский союз страховщиков (1)
- ГК "Эпотос" (1)
- Гениус Первый (1)
- Гибридная пена (1)
- Город будущего (1)
- Государственный надзор (1)
- Дактилоскопия (1)
- Деловая программа (1)
- Дистанционное обучение (1)
- Добродел (1)
- ЕБС (1)
- Евразийский экономический союз (1)
- Европейский союз (1)
- ЖКУ (1)
- Зимняя вишня (1)
- ИИС (1)
- ИКАО (1)
- ИПДЛ (1)
- ИСБ (1)
- ИСО Орион (1)
- ИСП (1)
- ИТРИУМ СПб (1)
- Игорь Олейник (1)
- Иконоскоп Зворыкина (1)
- Интеллектуальные транспортные системы (1)
- Интернет (1)
- Интером (1)
- Источники информации (1)
- К2Тех (1)
- Квантовые вычисления (1)
- Киберугрозы (1)
- Контрафактная продукция (1)
- Контроллер Matrix-VI (1)
- Контроль доступа (1)
- Конфиденциальная информация (1)
- Логический доступ (1)
- МГП ЗАРЯ (1)
- МФСБ (1)
- МЦД (1)
- Малленом Системс (1)
- Менеджер по продажам СБ (1)
- Методы защиты информации (1)
- Метрология (1)
- Микропроцессоры (1)
- Минимизация последствий ЧС (1)
- Минэнерго (1)
- Минэнерго России (1)
- Мировая урбанизация (1)
- Мобильные мошенники (1)
- Модули подключения (1)
- Морская безопасность (1)
- Мосгортранс (1)
- Московский метрополитен (1)
- Мошеннические схемы (1)
- Мощность излучения (1)
- НИПИГАЗ (1)
- НПЗ (1)
- НПК "Фотоника" (1)
- Нетворк Профи (1)
- Ниеншанц-Автоматика (1)
- Новости (1)
- ОКБ "Гамма" (1)
- ОС QuTS hero (1)
- ОТИ (1)
- Огневые испытания (1)
- Опрос онлайн (1)
- Оптимизация систем безопасности (1)
- Отраслевые сайты по безопасности (1)
- Отрасль (1)
- Охранные системы (1)
- ПАО "КАМАЗ" (1)
- ПК (1)
- Передатчик (1)
- Персоны (1)
- Пожтехника (1)
- Полупроводники (1)
- Предикативная аналитика (1)
- Развитие экономики (1)
- Результаты сертификации (1)
- Росжелдор (1)
- Росморречфлот (1)
- Ростехнадзор (1)
- Рынок ИТ (1)
- СБ "Марит" (1)
- СМК (1)
- Самарский метрополитен (1)
- Самолет-амфибия (1)
- Сбербанк (1)
- Сверхвысокочастотный сигнал (1)
- Световая демаркация (1)
- Сенсорные барьеры (1)
- Система измерения (1)
- Система наблюдения "ФЕНИКС" (1)
- Система пенного тушения (1)
- Системы безопасности (1)
- Системы защиты с трибоэлектрическим кабелем (1)
- Системы позиционирования (1)
- Системы связи и мониторинга (1)
- Ситуационно-аналитический центр (1)
- Сканер отпечатков пальцев (1)
- Сканирование пассажиров в метро (1)
- Сколково (1)
- Смарт-считыватели (1)
- События (1)
- Советы менеджерам (1)
- Социальная инженерия (1)
- Стивен Кови (1)
- Стрелец-Мониторинг (1)
- Строительство (1)
- Считыватели (1)
- Считыватели рисунка вен (1)
- Т8 Сенсор (1)
- ТЕНЗОР (1)
- ТПУ (1)
- ТСПО (1)
- Тайм менеджмент (1)
- Телевидение (1)
- Телеком (1)
- Телефонные мошенники (1)
- Терагерцовая технология (1)
- Термометрия (1)
- Тест (1)
- Технологии (1)
- УГП Эол (1)
- Удаленная занятость (1)
- Удаленная работа (1)
- Управление доступом (1)
- Управляемый хаос (1)
- ФЕНИКС-СПП (1)
- ФСБ (1)
- ФСТЭК (1)
- Фиксация нарушений ПДД (1)
- Форум (1)
- Центр ФСБ России (1)
- Центр управления регионом (1)
- Цикл продаж СБ (1)
- Чат-бот (1)
- Широкополосный доступ (1)
- Шоплифтер (1)
- Экономическая безопасность (1)
- Экспертиза (1)
- Электрозамки (1)
- Электромагнитная совместимость (1)
- Эпоха диджитализации (1)
- виртуальная реальность (1)
- здравоохранение (1)
- маркетинг (1)
- процессоры (1)
- связь (1)
- фишинг (1)
- Апрель 2025 (1)
- Март 2025 (22)
- Февраль 2025 (17)
- Январь 2025 (17)
- Декабрь 2024 (21)
- Ноябрь 2024 (26)
- Октябрь 2024 (24)
- Сентябрь 2024 (22)
- Август 2024 (23)
- Июль 2024 (23)
- Июнь 2024 (18)
- Май 2024 (23)
- Апрель 2024 (20)
- Март 2024 (20)
- Февраль 2024 (19)
- Январь 2024 (25)
- Декабрь 2023 (30)
- Ноябрь 2023 (24)
- Октябрь 2023 (19)
- Сентябрь 2023 (23)
- Август 2023 (26)
- Июль 2023 (21)
- Июнь 2023 (20)
- Май 2023 (24)
- Апрель 2023 (17)
- Март 2023 (21)
- Февраль 2023 (24)
- Январь 2023 (24)
- Декабрь 2022 (32)
- Ноябрь 2022 (28)
- Октябрь 2022 (24)
- Сентябрь 2022 (25)
- Август 2022 (21)
- Июль 2022 (24)
- Июнь 2022 (27)
- Май 2022 (24)
- Апрель 2022 (24)
- Март 2022 (27)
- Февраль 2022 (21)
- Январь 2022 (22)
- Декабрь 2021 (25)
- Ноябрь 2021 (23)
- Октябрь 2021 (24)
- Сентябрь 2021 (25)
- Август 2021 (24)
- Июль 2021 (26)
- Июнь 2021 (30)
- Май 2021 (25)
- Апрель 2021 (25)
- Март 2021 (22)
- Февраль 2021 (17)
- Январь 2021 (17)
- Декабрь 2020 (23)
- Ноябрь 2020 (19)
- Октябрь 2020 (17)
- Сентябрь 2020 (16)
- Август 2020 (23)
- Июль 2020 (20)
- Июнь 2020 (22)
- Май 2020 (16)
- Апрель 2020 (26)
- Март 2020 (22)
- Февраль 2020 (17)
- Январь 2020 (20)
- Декабрь 2019 (21)
- Ноябрь 2019 (12)
- Октябрь 2019 (18)
- Сентябрь 2019 (24)
- Август 2019 (14)
- Июль 2019 (17)
- Июнь 2019 (17)
- Май 2019 (13)
- Апрель 2019 (18)
- Март 2019 (18)
- Февраль 2019 (25)
Поделитесь вашими идеями