Подписка
МЕНЮ
Подписка

Машинное зрение на практике или наши новые цифровые помощники

Кирилл Кабанов, 21/09/20

В этой статье мы расскажем вам как новейшие технологии машинного зрения могут помочь в решении повседневных бизнес-задач, расскажем почему решений на рынке много, а хорошо работает и довериться можно всего нескольким, а также расскажем о нашем опыте реализации подобных проектов на производстве и в бизнесе.

Для начала, что такое современные системы машинного зрения и какие задачи они решают?

ЗАДАЧИ: Поиск объекта, Классификация, Трекинг.

КОМПОНЕНТЫ систем машинного зрения:

  • Безусловно это камера (редко одна, чаще несколько десятков, возможно сотни).
  • ПО работы и управления видеопотоком (VMS или Video Management System).
  • Обученная нейронная сеть (одна, а чаще несколько, работающих на решение одной задачи).
  • Серверное оборудование с GPU, где обученные нейросети работают с видеопотоком.
  • ПО аналитики или "ПО верхнего уровня" куда отправляются результаты от всех перечисленных подсистем, а также прописывается нужная математика и логика исходя из задачи.

Стоит отметить, что среда подготовки и обучения нейросетей не входит в список компонентов машинного зрения, т.к. эта часть выносится за рамки работы готовой системы, но именно ее функционал и возможности играют ключевую роль в качестве обученной нейросети, ее последующего администрирования и изменения под изменяющиеся бизнес-задачи или требования. В список компонентов также не вошли и вторичные системы как программные, так и аппаратные, подключаемые к системам машинного зрения и работающими с командами, полученными от ПО аналитики.

Несколько примеров прежде, чем мы продолжим:

1. Контроль использования СИЗ на производстве

Первым объектом поиска нейросети является человек. Следующим объектом поиска является объекты слежения – это руки, голова, глаза. Затем на объектах слежения нейросеть обучена распознавать наличие или отсутствие тех или иных СИЗ.

рис1-Sep-21-2020-09-26-55-48-AM

Другими словами: если в поле зрения системы попадает просто защитная каска или перчатка – система никак не реагирует на это событие, потому что это не представляет для нее никакого интереса. Интерес представляет именно искомый СИЗ применительно к тому или иному объекту слежения. Т.е. каска на голове – это условный "+", а вот каска в руке или под мышкой – это уже условный "-". рис2-Sep-21-2020-09-27-31-57-AM

Для наглядности и лучшего визуального восприятия на этапе обсуждения задания с Заказчиком и пилотирования мы выделяем цветом объекты слежения системы. Когда же система запущена в эксплуатацию, никаких кружочков и квадратиков от нее не требуются. Нам нужны лишь те самые условные "+" и "-", которые мы передаем по API следующим подключаемым компонентам (вторичным системам).

"Каким компонентам?" – спросите Вы.

В случае с промышленной безопасностью важнейшим является сохранность здоровья персонала и предупреждение несчастных случаев на производстве. Поэтому, безусловно, условные "плюсы" и "минусы" можно свести в графики и таблицы, показав руководству кто и когда пренебрегает защитой, но более правильным будет подключение системы оповещения внутренней службы безопасности посредством отправки сигнала на мобильное устройство (смс, и-мейл, PUSH) или на пульт оператора с отправкой ключевого кадра на что среагировала система и необходимой информацией о времени и месте срабатывания. При этом надо понимать, что работа нейросети происходит в режиме on-line и 24х7, на отправку уведомления требуются доли секунд. Безусловно можно отправлять управляющие сигналы на внешние системы оповещения (громкоговорители) – на что угодно, что имеет программный интерфейс управления (API).

2. Контроль объектов слежения с использованием БПЛА

В этом примере мы показываем, что системы машинного зрения не привязаны к стационарным камерам. Это в том числе могут и быть и камеры беспилотных летательных аппаратов (БПЛА) как нативные, так и оснащенные тепловизорами, системами ночного зрения и т.д.

рис3-3

Сфера применения огромна! С учетом развития БПЛА, временем их автономности и качеством передаваемого сигнала использовать машинное зрение на БПЛА можно и для облета периметра закрытых территорий с целью его контроля и для инспекции всевозможных узлов и агрегатов и для слежения за определенным объектом и много многое другое.

Пример: Облет линий высоковольтных ЛЭП с целью поиска провисания линии или пробоя изолятора или упавшего дерева или... Результат работы системы: ключевой кадр на что сработала система + GPS-координаты места события для отправки ремонтной бригады на планшет оператору или в ситуационный центр.

Важно понимать, что системы машинного зрения на текущем этапе их развития не призваны заменить человека. Относится к ним надо как к дополнительным, вспомогательным для управленческого персонала системам, призванным минимизировать ошибки и издержки компании, но принятие решения в любом случае остается за человеком.

3. Превентивная работа с целью повышения культуры вождения

Дано: огромный парк корпоративных автомобилей, оснащённых стандартными видеорегистраторами.

Задача: поиск потенциально агрессивных водителей для проведения разъяснительных бесед и снижения возможности ДТП с их участием.

Решение: Данные с регистраторов агрегируются в Дата-центре и обрабатываются нейросетями на предмет поиска:рис4-1рис5-1

  • пересечение сплошной
  • пересечение двойной сплошной и выезд на встречную
  • не уступил пешеходу на пешеходном перекрестке
  • опасное сближение с впереди идущим транспортном (экстренное торможение)
  • поворот/разворот в неположенном месте
  • проезд на запрещающий сигнал светофора
  • превышение скоростного режима
  • съезд с разрешенного участка для движения (съезд с асфальта на обочину).

Результат работы нейросети: таблица с метаданными по каждому водителю на что, где и когда сработала система, с возможностью просмотреть фрагмент по каждому событию, на которое сработала система для принятия управленческого решения.

Этим примером мы хотим показать, что не всегда нейросети используют для обработки видеопотоков on-line. Для нейросетей есть множество задач с уже накопленным материалом, где нужно разобрать архивы с целью поиска того или иного события/объекта.

Кроме этого, этим примером мы показываем, что кроме логики работы есть еще возможность использовать математические методы анализа получаемых данных. Например: мы видим знак ограничения скоростного режима, видим текущую скорость авто из данных видеорегистратора, видим, что знак мы проезжаем, те начинается зона его действия и в этот момент мы начинаем следить именно за превышением скорости авто относительного примененного знака ограничения скорости. Если превышение более 10км/ч -> делаем запись в таблицу, если меньше -> не делаем и т.д.

4. Социальное дистанцирование

Законы времени, в котором мы живем порой слишком быстро диктуют новые правила, к которым мы должны также быстро адаптироваться. И от того на сколько быстро эта адаптация произойдет зависит и выживание бизнеса в сложный период и даже жизни сотрудников.

Ниже мы предлагаем посмотреть, как можно решать задачи социальной дистанции, в первую очередь: наблюдение, те контроль соблюдения необходимой (заданной) дистанции.

рис6-1

Вывод из приведенных примеров напрашивается следующий: системы машинного зрения могут быть применимы везде, где есть камеры, либо видео архивы и где есть необходимость находить объекты, классифицировать их и следить (трекинг) за ними. При этом одна система может включать в себя сотни камер, которые будут работать как единый организм над решением одной задачи.

Доступность и бесплатность библиотек для обучения простых нейросетей (TensorFlow, Caffe) и популярность языка программирования Phyton сделали процесс создания первых нейросетей крайне простым для любого желающего, кто углубился в тему чуть дальше обывательского уровня. Это и хорошо, и одновременно плохо. Хорошо это тем, что вовлеченных в мир искусственного интеллекта программистов все больше и больше и не за горами фантастические прорывы в этой области, но с другой стороны, доступность и простота породили огромное кол-во стартапов, те тех ребят, кто поверил в свои силы до конца не осознавая всей той глубины и сложности задачи с которой им придется столкнуть.

Не секрет, что крупные западные компании вкладывают десятки и сотни миллионов $ в свои разработки на базе ИИ. Никто не спорит с утверждением, что это технологии завтрашнего дня, которые начинают свой путь сегодня и которые с каждым годом становятся умнее, функциональнее и дешевле. Для своих решений мы выбрали аппаратную и программную платформу, предлагаемую компанией IBM.

рис7-1

Почему IBM?

  • Мировой опыт IBM и десятилетия инноваций от IBM Research & Development в области видеоаналитики. Все продукты IBM для Видеоаналитики и Машинного зрения это не покупки, а собственные разработки, вышедшие из крупнейших исследовательских лабораторий, например таких как лаборатория IBM в Китае.
  • Мировой опыт реализации крупнейших проектов таких как: "Умный город", "Безопасный город", "Безопасный аэропорт", "Безопасный вокзал" и т.д. Экспертиза и опыт команды разработчиков, учувствовавших в проектах доступны и для Российских заказчиков.
  • На выбор заказчика решение может быть развернуто как на существующих у заказчика серверах х86 (соответствующим требованиям), так и на собственных серверах IBM System Power AC922 и IC922с мощными CPU и GPU, которые специально разработаны для задач связанных с ML/DL и большими потоками данных и оптимально сбалансированными под них. Серверы IC922 являются отличным и конкурентным аналогом классической х86 архитектуры.
  • Уникальные алгоритмы, максимально эффективно нагружающие CPU и GPU, равномерно распределяющие нагрузку между ними, что позволяет обрабатывать бОльшее кол-во потоков на одном сервере
  • Быстрое доведение точности до требуемого уровня. Первые нейросети по заданию заказчика могут быть готовы уже через несколько часов после начала работы.
  • Независимость от конкретного производителя камер или СВН. Мы можем интегрировать почти в любую существующую среду Видеонаблюдения на предприятии с минимальными изменениями.
  • Широкий пакет программных продуктов IBM, выбирая из которых можно создать любое решение, для решения любой задачи:  

IBM Maximo Visual Inspection (ранее IBM Visual Insight) – В состав продукта входит широкий набор инструментов для обучения нейросетевых моделей и подготовки датасета. В состав решения ходят популярные среды глубокого обучения и необходимые для их работы компоненты

IBM Visual Inspections Mobile (Visual Inspector) - для применения обученных моделей с использованием мобильных устройств для различных инспекций.

IBM Video Analytics – основной продукт, который позволяет подключать сотни и тысячи камер любых производителей, осуществлять трекинг объектов, имеет специальный интерфейс администратора, который позволяет настраивать правила поведения или состояния объектов, которые необходимо отслеживать, генерировать мгновенные оповещения в интерфейс оператора или как сигналы другим системам, а также “индексировать” видеопотоки описывая все происходящее в виде метаданных, по которым впоследствии оператор может выполнять поиск интересующих объектов или событий.

Если Вы дочитали до этих строк, значит статья была для вас как минимум QIP Shot - Screen 544-1интересна и, либо вы нашли ответы на какие-то копившиеся у вас вопросы, либо вопросов стало еще больше. У компании Barnet за последние годы накоплен богатый опыт и экспертиза в подобных решениях, что отмечено нашим вендором и чем мы с вами с готовностью поделимся.

+7-495-6629937, info@barnet.ru

Темы:ВидеонаблюдениеМашинное зрениеРаспознавание лицНейросетиБПЛАBARNET

Хотите сотрудничать?

Выберите вариант!

 

Получить консультацию
Печатное издание
Интернет-портал
Стать автором
Комментарии

More...