Машинное зрение на практике или наши новые цифровые помощники

В этой статье мы расскажем вам как новейшие технологии машинного зрения могут помочь в решении повседневных бизнес-задач, расскажем почему решений на рынке много, а хорошо работает и довериться можно всего нескольким, а также расскажем о нашем опыте реализации подобных проектов на производстве и в бизнесе.

Для начала, что такое современные системы машинного зрения и какие задачи они решают?

ЗАДАЧИ: Поиск объекта, Классификация, Трекинг.

КОМПОНЕНТЫ систем машинного зрения:

• Безусловно это камера (редко одна, чаще несколько десятков, возможно сотни).
• ПО работы и управления видеопотоком (VMS или Video Management System).
• Обученная нейронная сеть (одна, а чаще несколько, работающих на решение одной задачи).
• Серверное оборудование с GPU, где обученные нейросети работают с видеопотоком.
• ПО аналитики или "ПО верхнего уровня" куда отправляются результаты от всех перечисленных подсистем, а также прописывается нужная математика и логика исходя из задачи.

Стоит отметить, что среда подготовки и обучения нейросетей не входит в список компонентов машинного зрения, т.к. эта часть выносится за рамки работы готовой системы, но именно ее функционал и возможности играют ключевую роль в качестве обученной нейросети, ее последующего администрирования и изменения под изменяющиеся бизнес-задачи или требования. В список компонентов также не вошли и вторичные системы как программные, так и аппаратные, подключаемые к системам машинного зрения и работающими с командами, полученными от ПО аналитики.

Несколько примеров прежде, чем мы продолжим:

Первым объектом поиска нейросети является человек. Следующим объектом поиска является объекты слежения – это руки, голова, глаза. Затем на объектах слежения нейросеть обучена распознавать наличие или отсутствие тех или иных СИЗ.

Другими словами: если в поле зрения системы попадает просто защитная каска или перчатка – система никак не реагирует на это событие, потому что это не представляет для нее никакого интереса. Интерес представляет именно искомый СИЗ применительно к тому или иному объекту слежения. Т.е. каска на голове – это условный "+", а вот каска в руке или под мышкой – это уже условный "-". 

Для наглядности и лучшего визуального восприятия на этапе обсуждения задания с Заказчиком и пилотирования мы выделяем цветом объекты слежения системы. Когда же система запущена в эксплуатацию, никаких кружочков и квадратиков от нее не требуются. Нам нужны лишь те самые условные "+" и "-", которые мы передаем по API следующим подключаемым компонентам (вторичным системам).

"Каким компонентам?" – спросите Вы.

В случае с промышленной безопасностью важнейшим является сохранность здоровья персонала и предупреждение несчастных случаев на производстве. Поэтому, безусловно, условные "плюсы" и "минусы" можно свести в графики и таблицы, показав руководству кто и когда пренебрегает защитой, но более правильным будет подключение системы оповещения внутренней службы безопасности посредством отправки сигнала на мобильное устройство (смс, и-мейл, PUSH) или на пульт оператора с отправкой ключевого кадра на что среагировала система и необходимой информацией о времени и месте срабатывания. При этом надо понимать, что работа нейросети происходит в режиме on-line и 24х7, на отправку уведомления требуются доли секунд. Безусловно можно отправлять управляющие сигналы на внешние системы оповещения (громкоговорители) – на что угодно, что имеет программный интерфейс управления (API).

В этом примере мы показываем, что системы машинного зрения не привязаны к стационарным камерам. Это в том числе могут и быть и камеры беспилотных летательных аппаратов (БПЛА) как нативные, так и оснащенные тепловизорами, системами ночного зрения и т.д.

Сфера применения огромна! С учетом развития БПЛА, временем их автономности и качеством передаваемого сигнала использовать машинное зрение на БПЛА можно и для облета периметра закрытых территорий с целью его контроля и для инспекции всевозможных узлов и агрегатов и для слежения за определенным объектом и много многое другое.

Пример: Облет линий высоковольтных ЛЭП с целью поиска провисания линии или пробоя изолятора или упавшего дерева или... Результат работы системы: ключевой кадр на что сработала система + GPS-координаты места события для отправки ремонтной бригады на планшет оператору или в ситуационный центр.

Важно понимать, что системы машинного зрения на текущем этапе их развития не призваны заменить человека. Относится к ним надо как к дополнительным, вспомогательным для управленческого персонала системам, призванным минимизировать ошибки и издержки компании, но принятие решения в любом случае остается за человеком.

Дано: огромный парк корпоративных автомобилей, оснащённых стандартными видеорегистраторами.

Задача: поиск потенциально агрессивных водителей для проведения разъяснительных бесед и снижения возможности ДТП с их участием.

Решение: Данные с регистраторов агрегируются в Дата-центре и обрабатываются нейросетями на предмет поиска:

• пересечение сплошной
• пересечение двойной сплошной и выезд на встречную
• не уступил пешеходу на пешеходном перекрестке
• опасное сближение с впереди идущим транспортном (экстренное торможение)
• поворот/разворот в неположенном месте
• проезд на запрещающий сигнал светофора
• превышение скоростного режима
• съезд с разрешенного участка для движения (съезд с асфальта на обочину).

Результат работы нейросети: таблица с метаданными по каждому водителю на что, где и когда сработала система, с возможностью просмотреть фрагмент по каждому событию, на которое сработала система для принятия управленческого решения.

Этим примером мы хотим показать, что не всегда нейросети используют для обработки видеопотоков on-line. Для нейросетей есть множество задач с уже накопленным материалом, где нужно разобрать архивы с целью поиска того или иного события/объекта.

Кроме этого, этим примером мы показываем, что кроме логики работы есть еще возможность использовать математические методы анализа получаемых данных. Например: мы видим знак ограничения скоростного режима, видим текущую скорость авто из данных видеорегистратора, видим, что знак мы проезжаем, те начинается зона его действия и в этот момент мы начинаем следить именно за превышением скорости авто относительного примененного знака ограничения скорости. Если превышение более 10км/ч -> делаем запись в таблицу, если меньше -> не делаем и т.д.

Законы времени, в котором мы живем порой слишком быстро диктуют новые правила, к которым мы должны также быстро адаптироваться. И от того на сколько быстро эта адаптация произойдет зависит и выживание бизнеса в сложный период и даже жизни сотрудников.

Ниже мы предлагаем посмотреть, как можно решать задачи социальной дистанции, в первую очередь: наблюдение, те контроль соблюдения необходимой (заданной) дистанции.

Вывод из приведенных примеров напрашивается следующий: системы машинного зрения могут быть применимы везде, где есть камеры, либо видео архивы и где есть необходимость находить объекты, классифицировать их и следить (трекинг) за ними. При этом одна система может включать в себя сотни камер, которые будут работать как единый организм над решением одной задачи.

Доступность и бесплатность библиотек для обучения простых нейросетей (TensorFlow, Caffe) и популярность языка программирования Phyton сделали процесс создания первых нейросетей крайне простым для любого желающего, кто углубился в тему чуть дальше обывательского уровня. Это и хорошо, и одновременно плохо. Хорошо это тем, что вовлеченных в мир искусственного интеллекта программистов все больше и больше и не за горами фантастические прорывы в этой области, но с другой стороны, доступность и простота породили огромное кол-во стартапов, те тех ребят, кто поверил в свои силы до конца не осознавая всей той глубины и сложности задачи с которой им придется столкнуть.

Не секрет, что крупные западные компании вкладывают десятки и сотни миллионов $ в свои разработки на базе ИИ. Никто не спорит с утверждением, что это технологии завтрашнего дня, которые начинают свой путь сегодня и которые с каждым годом становятся умнее, функциональнее и дешевле. Для своих решений мы выбрали аппаратную и программную платформу, предлагаемую компанией IBM.

Почему IBM?

• Мировой опыт IBM и десятилетия инноваций от IBM Research & Development в области видеоаналитики. Все продукты IBM для Видеоаналитики и Машинного зрения это не покупки, а собственные разработки, вышедшие из крупнейших исследовательских лабораторий, например таких как лаборатория IBM в Китае.
• Мировой опыт реализации крупнейших проектов таких как: "Умный город", "Безопасный город", "Безопасный аэропорт", "Безопасный вокзал" и т.д. Экспертиза и опыт команды разработчиков, учувствовавших в проектах доступны и для Российских заказчиков.
• На выбор заказчика решение может быть развернуто как на существующих у заказчика серверах х86 (соответствующим требованиям), так и на собственных серверах IBM System Power AC922 и IC922с мощными CPU и GPU, которые специально разработаны для задач связанных с ML/DL и большими потоками данных и оптимально сбалансированными под них. Серверы IC922 являются отличным и конкурентным аналогом классической х86 архитектуры.
• Уникальные алгоритмы, максимально эффективно нагружающие CPU и GPU, равномерно распределяющие нагрузку между ними, что позволяет обрабатывать бОльшее кол-во потоков на одном сервере
• Быстрое доведение точности до требуемого уровня. Первые нейросети по заданию заказчика могут быть готовы уже через несколько часов после начала работы.
• Независимость от конкретного производителя камер или СВН. Мы можем интегрировать почти в любую существующую среду Видеонаблюдения на предприятии с минимальными изменениями.
• Широкий пакет программных продуктов IBM, выбирая из которых можно создать любое решение, для решения любой задачи:  

IBM Maximo Visual Inspection (ранее IBM Visual Insight) – В состав продукта входит широкий набор инструментов для обучения нейросетевых моделей и подготовки датасета. В состав решения ходят популярные среды глубокого обучения и необходимые для их работы компоненты

IBM Visual Inspections Mobile (Visual Inspector) - для применения обученных моделей с использованием мобильных устройств для различных инспекций.

IBM Video Analytics – основной продукт, который позволяет подключать сотни и тысячи камер любых производителей, осуществлять трекинг объектов, имеет специальный интерфейс администратора, который позволяет настраивать правила поведения или состояния объектов, которые необходимо отслеживать, генерировать мгновенные оповещения в интерфейс оператора или как сигналы другим системам, а также “индексировать” видеопотоки описывая все происходящее в виде метаданных, по которым впоследствии оператор может выполнять поиск интересующих объектов или событий.

Если Вы дочитали до этих строк, значит статья была для вас как минимум интересна и, либо вы нашли ответы на какие-то копившиеся у вас вопросы, либо вопросов стало еще больше. У компании Barnet за последние годы накоплен богатый опыт и экспертиза в подобных решениях, что отмечено нашим вендором и чем мы с вами с готовностью поделимся.

+7-495-6629937, info@barnet.ru

Больше материалов по теме "Нейронные сети" >>>

Изображения предоставлены автором

Фото: ru.freepik.com