Подписка

Можно ли обмануть интеллектуальную видеоаналитику?

22/05/19

Аналитика на базе искусственного интеллекта (AI) с использование алгоритмов глубокого обучения (Deep Learning) прогрессирует с каждым годом, завоевывая рынок своими возможностями самообучения в задачах детекции и идентификации объектов. При этом совершенно неизвестно, сможет ли машинное обучение обеспечить необходимую достоверность в случае, если злоумышленники намеренно попытаются ее обмануть.

Исследователи из университета KU Leuven, Бельгия, провели ряд экспериментов, по итогам которых заявили о простейшем способе обмануть современные алгоритмы идентификации объектов: "Мы хотели показать, что используемые детекторы людей можно достаточно просто обойти, и хотим, чтобы эту информацию использовали при проектировании систем безопасности".

В эксперименте использовался современный популярный детектор YOLOv2 c открытым исходным кодом, обученный на специальном дата-сете для идентификации объектов MS COCO. Сначала пробовали подменить образы, обмануть детектор и заставить его ошибиться в детекции людей, перепутав их с другими объектами (животные, предметы). Но наилучший результат показал подход, в котором детектор вообще теряет людей из кадра. Основной инструмент исследователей - специальным образом сгенерированное на компьютере изображение. Используя вставки изображения на фигурах людей, можно заставить детекторы думать, что объекта нет вообще. Тестирование проводилось с наложением изображения на фотографии и в режиме реального времени.

foto

Рис. 1. Пример использования распечатанной версии изображения-помехи в онлайн-режиме

Конечно, у такого способа обхода детекции есть свои ограничения: изображение-помеха должно быть строго ориентировано на камеру, при поворотах или изменении размера оно теряет свою эффективность. Учитывая, что в эксперименте использовалась конкретная конфигурация детектора, для обхода других детекторов нужно будет генерировать новое изображение. В настоящий момент исследователи работают на тем, чтобы сгенерировать более универсальные изображения и учесть возможные искажения на реальной фигуре. В планах разработка шаблона для большой части тела, одежды, например для принтов на футболках, которые будут работать с любого ракурса.

По материалам www.securityinfowatch.com

Темы:AIНовостиГлубинное обучениеНовости отрасли