Машинное зрение и современные вычислительные платформы

Стоимость камер с разрешением FullHD и высоким качеством изображения упала в 2–3 раза: недавний бестселлер — камера на базе сенсора Sony IMX249, выдающая изображение отличного качества, – стоит менее 400 евро, хотя еще пять лет назад цена модели на базе ПЗС-сенсоров (CCD) аналогичного разрешения составляла не менее 1000–1500 евро. Как изменились сенсоры, оптика и возможности синхронизации в современных камерах машинного зрения? Каким образом реализуется их взаимодействие с другими устройствами? От чего зависит выбор вычислительной платформы? Какие преимущества и возможности дает размещение интеллекта рядом с камерой, а не "на борту"? Попробуем ответить на эти вопросы с точки зрения современных мобильных платформ, рассмотрим примеры использования в них камер машинного зрения и сравним текущие предложения.

Для чего нужны мобильные платформы?

Мобильной мы будем называть платформу, которая передвигается самостоятельно (рис. 1), чаще всего без пилота, может иметь колеса и/или крылья, находиться под водой или даже летать в космосе, а в совокупности с камерой машинного зрения решает важные практические задачи:

1. Фото- и видеосъемка. Автомобили Google снимают улицы, благодаря чему практически любой дом можно найти в Google Maps, и все эти изображения сделаны с помощью мобильной платформы и камер машинного зрения.
2. Локальная навигация. Сами по себе мобильные платформы нуждаются в понимании того, что происходит вокруг них, в чем им помогают камеры машинного зрения.
3. Мониторинг протяженных объектов и территорий. В нашей стране огромное количество протяженных объектов, которые требуют постоянного мониторинга:

• газо- и нефтепроводы;
• линии электроэнергии;
• линии электропередачи;
• линии водоснабжения;
• масштабная транспортная инфраструктура;
• сельскохозяйственные угодья;
• логистические терминалы;
• строительный бизнес (масштабные стройки, мосты, большие здания и и др.);
• лесное хозяйство.

Именно на решении задач мониторинга и остановимся подробнее.

Текущие предложения

Принимая во внимание размеры нашей страны, очевидно, что лучшие мобильные платформы для их мониторинга — это беспилотные летательные аппараты (БПЛА), например квадрокоптеры с видеорегистратором на борту. Вещь недорогая, общеупотребительная, широко используется для
съемки различного рода мероприятий, когда к качеству предъявляются не очень высокие требования. На летательном аппарате может размещаться обычная бытовая камера или модель с более высоким разрешением. На сегодняшний день на квадрокоптерах для фото- и видеосъемки в абсолютном большинстве случаев используются видеорегистраторы типа GoPro или профессиональные фотокамеры Sony Cybershot DCS RX1 II, в зависимости от требований к качеству изображения и бюджета.

Вариант № 1. GoPro

Чаще всего на небольших квадрокоптерах устанавливается видеорегистратор типа GoPro (рис. 2).

Очень популярное решение, но найти характеристики устройства для оценки возможностей в плане получения и качества изображения оказалось не так-то просто. Лишь в Интернете удалось добыть информацию о том, какой сенсор в ней задействован. Производитель об этом почему-то умалчивает. Хотя, казалось бы, скрывать тут особенно нечего, это вполне приличное изделие компании Sony современной серии Starvis с разрешением 12 Мпкс и частотой съемки в версии GoPro 30 кадр/с (возможности сенсора в полтора раза выше – 44 кадр/с). О чем производитель популярного видеорегистратора, видимо, не хочет распространяться, так это о размере пикселя – 1,55 мкм. Поэтому, несмотря на большое разрешение, сенсор очень маленький, размером всего 6,25 х 4,69 мм. Это обстоятельство не может не отражаться на качестве получаемого изображения.

Второй важный момент заключается в том, что сенсор в GoPro использует технологию скользящего затвора Rolling Shutter. Далеко не все покупатели и даже продавцы камер знают, что это
такое. На этом мы остановимся подробнее чуть позже. Оптика используется в GoPro стандартная компактная — М12 (S-Mount), часто используемая в миниатюрных камерах. Причем если покупать фирменную оптику в магазине GoPro, то пластмассовый объектив обойдется в 100 евро, а в магазине, где продаются камеры видеонаблюдения, цена точно такого же объектива может быть существенно ниже, порядка 10 евро.

Из других функций, на которые производитель GoPro обращает особенное внимание, — возможность дистанционного управления по Wi-Fi и прямого доступа к Instagram и Facebook, что, впрочем, никак не влияет на качество получаемого видеоматериала. Весит GoPro всего 116 г, все элементы достаточно компактно располагаются в защищенном конструктиве с шикарным дисплеем с обратной стороны. Стоимость варьируется в диапазоне 250–450 евро в зависимости функциональных возможностей конкретной модели.

Sony Cybershot DCS RX1 II

Второй, более серьезный вариант для летательных аппаратов — компактная полноформатная камера 35 мм Sony Cybershot DCS RX1 II, оснащенная сенсором Sony IMX571 c разрешением 42,2 Мпкс (рис. 3).

В силу большого разрешения частота кадров ограничена всего пятью кадрами в секунду. Зато размер пикселя по длине и ширине в три раза больше чем у GoPro и составляет вполне достойные 4,5 мкм. Именно это во многом и определяет на порядок лучшее, чем у GoPro, качество изображения, так как технологии Sony задействованы практически те же, но в силу того, что сенсор большего размера, чувствительность и динамический диапазон, определяющие качество изображения, намного выше. Это тоже камера со скользящим затвором (Rolling Shutter). На аппарате установлена отличная, но намертво встроенная оптика — 35-миллиметровый объектив ZEISS Sonnar. Он универсален и в основном предназначен для репортажной съемки. Возможности поменять объектив нет. Зато это, пожалуй, самая компактная ручная профессиональная камера, большинство профессиональных репортеров имеют в кармане именно ее. Она весит около 0,5 кг и стоит немало — 3500 евро. Но при всех достоинствах это бытовая камера, хоть и признанный во всем мире лидер в своей области.

Что не так?

Почему, несмотря на все преимущества и возможности GoPro и Sony Cybershot DCS RX1 II, заказчики ищут другие решения? Причин тому несколько:

1. Коммерческий "бытовой" дизайн, размеры и форм-фактор. Видео- и фотосъемка человеком. Соответствующие органы управления и габариты.
2. Лишние, редко используемые функции (монитор, видоискатель, кнопки, "улучшатели" изображения, публикация в Instagram, Facebook и пр.). Все это не бесплатно.
3. Ограниченные возможности внешнего управления.
4. Скользящий затвор – Rolling Shutter.

Другими словами, обе камеры — это отличные, но бытовые приборы. Они разработаны для использования человеком, а не для работы в составе какой-либо автоматизированной системы. В них представлена масса лишних функций и деталей: дисплей, кнопки, программное обеспечение для передачи изображения в Instagram и т.д., а для мобильных решений наибольшую ценность представляют все-таки качество изображения движущихся объектов и возможность управлять режимами съемки. Если камера размещена на квадрокоптере, который улетел за 5 км, и с ним связь ограничена, то все кнопки и даже управление по Wi-Fi принесут мало пользы.

Читайте полностью в журнале "Системы безопасности" №3/2019

Рисунки предоставлены автором

Фото: ru.freepik.com