Машинное зрение для промышленных производств: тенденции и перспективы

Машинное зрение становится все более и более популярным. Развитие технологии глубокого машинного обучения (Deep Learning) привело к проникновению машинного зрения во многие сферы повседневной жизни. В то же время основной областью, где оно используется, был и остается промышленный контроль.

Опыт работы показывает, что наиболее ориентированными на машинное зрение отраслями являются металлургическая, пищевая, производство бытовой химии, автомобилестроение и машиностроение, а также фармацевтическое производство. В большинстве своем это сферы, в которых предъявляются повышенные требования к качеству выпускаемой продукции. Немаловажную роль в повышении спроса на технологии машинного зрения сыграло и внедрение национальной системы маркировки и прослеживаемости товаров.

В основе – камера

Основным компонентом систем машинного зрения являются камеры. Они обеспечивают получение цифрового изображения высокого качества, оптимального для компьютерной обработки, анализа, измерений, диагностики, распознавания и контроля. Камеры машинного зрения имеют ряд отличительных особенностей:

1. Передача формируемого изображения без сжатия. Преимущество этого подхода состоит в отсутствии потерь информации, что незаменимо, например, в системах визуального контроля качества поверхностей.
2. Совместимость с системами реального времени. Передача несжатых данных позволяет получить изображение для его дальнейшей обработки и выдачи результата анализа за доли секунды, что в условиях конвейерного производства является необходимым критерием успешного функционирования.
3. Широкий диапазон разрешений. В зависимости от технологии установленного сенсора промышленные камеры могут быть матричными или линейными. Диапазон разрешений – от VGA до 155 Мпкс для матричных камер и до 32К для линейных.
4. Высокая частота кадров (до нескольких сотен тысяч в секунду). Позволяет камерам машинного зрения вести наблюдение за высокоскоростными процессами.
5. Генерирование сигналов ввода/вывода. Практически все камеры машинного зрения оснащены интерфейсом ввода/вывода для взаимодействия с любыми внешними устройствами.

Ввиду того что разные задачи требуют различных вычислительных ресурсов и даже вычислительных платформ, интересной кажется идея разработки открытых вычислительных платформ для разработчиков, поддерживающих подключение камер машинного зрения по низкоуровневым интерфейсам. Это позволит построить экономически эффективное решение для каждой конкретной задачи. Совмещать ли эти платформы в одном корпусе с видеокамерой – вопрос открытый.

Должна ли камера машинного зрения быть "смарт"?

Камеры машинного зрения обычно рассматриваются как датчики формирования изображений. Сегодня на рынке представлено большое разнообразие моделей камер, отличающихся интерфейсом, форм-фактором, используемым датчиком формирования изображений и т.д.

Задач, в которых используются камеры машинного зрения, огромное множество. Очевидно, что создание специализированной видеокамеры под каждую задачу экономически нецелесообразно, поскольку стоимость разработки каждой такой модели придется распределить на небольшое количество реализованных экземпляров.

В то же время для некоторых типовых задач, обладающих перспективой тиража, таких как считывание кодов (1D и 2D), распознавание номеров автомобилей, перенос обработки видеосигнала непосредственно в видеокамеру, вполне целесообразен. Это подтверждается существованием специализированных смарт-камер для решения подобных вопросов. Перенос обработки в камеру возможен и там, где необходимо обеспечить низкую массу и энергоэффективность решения, например при создании беспилотных летательных аппаратов или средств вооружения. В большинстве же промышленных применений камера машинного зрения должна быть, с одной стороны, достаточно универсальной для решения широкого круга задач, а с другой – обладать приемлемой стоимостью.

Ввиду того что разные задачи требуют различных вычислительных ресурсов и даже вычислительных платформ, интересной кажется идея разработки открытых вычислительных платформ для разработчиков, поддерживающих подключение камер машинного зрения по низкоуровневым интерфейсам. Это позволит построить экономически эффективное решение для каждой конкретной задачи. Совмещать ли эти платформы в одном корпусе с видеокамерой – вопрос открытый.

Новые технологические решения

Следует отметить, что обработка видеосигнала затрагивает две области – программное обеспечение и аппаратное обеспечение. В последние годы наблюдается их активное развитие.

В части программного обеспечения внимания заслуживает открытая библиотека OpenCV, в качестве аппаратных решений интерес представляют nVidia Jetson, Intel® Movidius™ Myriad™ X Vision Processing Unit.

Компания Basler не так давно представила комплекты для разработчиков, которые включают в себя вычислительные платы с интерфейсами получения сигналов с камер и SDK для разных языков, позволяющие создавать решения для этих плат. В их арсенале есть также промышленные камеры, поддерживающие низкоуровневый способ подключения камер к таким платам.

Компания Flir в конце 2019 г. выпустила первую серийную камеру машинного зрения Firefly DL со специализированным нейрочипом, позволяющим запускать некоторые конфигурации нейронных сетей прямо на камере.

Компания Cogneх уже долгие годы развивается в направлении законченных систем машинного зрения в одном корпусе и предлагает смарт-камеры с разным набором инструментов анализа, в том числе поддерживающие использование нейронных сетей на борту.

В последние годы появилось также немало платформ, объединяющих в едином промышленном корпусе видеокамеру и вычислитель, например производства компаний ADLink, XIMEA, Hikvision и др. Среди компаний, развивающих направления недорогих открытых платформ для машинного зрения, следует упомянуть OpenMV.

"Камеры машинного зрения" – обзор решений для отрасли и мнения экспертов >>>

Линейные камеры: есть ли у них будущее?

В большинстве задач промышленного контроля применяются матричные (Area Scan) камеры, но в некоторых случаях без использования камер с линейными сенсорами не обойтись. Возьмем для примера контроль дефектов металлопроката или других непрерывных материалов. При использовании обычных видеокамер Area Scan возникнет проблема обеспечения равномерности освещения большой площади движущегося материала. Кроме того, освещение большой площади потребует больших затрат энергии и больше места на производственной линии.

Для качественного контроля необходимо устранить колебания материала в инспектируемой зоне, что также бывает сложно организовать. Использование линейных видеокамер дает возможность проводить инспекцию материала прямо на валу производственной линии и тем самым устранить колебания материала, а применение специализированных линейных осветителей позволяет достаточно экономично осветить небольшую полоску зоны контроля. Если требуется контроль материала на просвет, то организовать подсветку и устранение колебаний материала также проще в случае использования линейных видеокамер.

Серьезным доводом в пользу использования линейных видеокамер является более компактное представление информации. К примеру, при контроле за движением материала на конвейере с использованием обычных (Area Scan) видеокамер возникает большая избыточность видеоданных, так как формируемые смежные видеокадры будут содержать изображение одной и той же части конвейера, но немного смещенное по времени. А линейные видеокамеры можно настроить так, чтобы формировать сканы, например, при смещении ленты конвейера на 1 мм. В этом случае из таких сканов можно сформировать изображение/изображения, покрывающие всю поверхность инспектируемого материала/конвейера в привязке к положению и без ненужного перекрытия (избыточности).

Машинное зрение для задач промышленной безопасности

Совместимость камер машинного зрения с системами охранного видеонаблюдения может быть очень полезна. Например, мы неоднократно сталкивались с проектами, где использование обычных IP-видеокамер было невозможно ввиду характерных для них задержек, возникающих при формировании и сжатии видеопотока. Задержка между временем формирования кадра и временем получения этого кадра в устройстве анализа может достигать 5 с, что недопустимо в задачах, где требуется обеспечение безопасности персонала или управление производственными механизмами.

В то же время заказчики таких систем заинтересованы в ведении видеоархива, и для этого требуется разработка специализированных сервисов кодирования видеопотока с камеры машинного зрения. Это дает возможность использовать серийно выпускаемые видеорегистраторы для ведения видеоархива и доступа к нему. При этом стоимость разработки решения и последующего владения им для заказчика возрастает, поскольку требует дополнительных вычислительных ресурсов на кодирование видеопотока. Но в вопросах, связанных с жизнью и здоровьем людей, работающих на производстве, экономия никогда не будет оправданной.

Редакция советует

В области современных промышленных измерений и автоматизации с использованием современных технологий машинного зрения и робототехники работает компания "ВиТэк", в числе заказчиков которой – российские, европейские и американские компании. Ведущим мировым поставщиком технологий автоматизации и лидером в области производственного обучения и образовательных программ является компания Festo. На российском рынке компьютерного зрения известны также резидент инновационного центра "Сколково" Astra Lab и НТЦ "Модуль".

Опубликовано в журнале "Системы безопасности" №5/2020

Фото: https://ru.freepik.com