Pregius и другие сенсоры Sony для камер машинного зрения

Следствием технологических революций последнего десятилетия стали качественные изменения в системах захвата и обработки изображений, причем не только в смартфонах и "мириадах осколков" нашей жизни в различных "инстаграмах", но и в менее заметных широкой публике, однако не менее значимых прорывах в технологиях машинного зрения и видеонаблюдения.

Непосредственное влияние на достоверность и количество содержащейся в полученном изображении информации оказывает сенсор, на который возложена ответственная миссия преобразования потока света в электрический сигнал. В отличие от посетителей нашего блога, восторгающихся приукрашенными смартфоном "картинками", компьютерная система обработки предъявляет гораздо более серьезные требования к содержанию изображения, замечая наличие (или отсутствие) в нем деталей и оттенков.

Прогресс сенсоров происходит в нескольких направлениях, зачастую противоречащих друг другу, это пространственное разрешение, динамический диапазон, скорость и функциональность. Физический размер матрицы ограничен форматом оптики. Увеличение разрешения при сохранении размера матрицы возможно только при уменьшении размера пикселя. При этом очень трудно сохранить прежние значения чувствительности и динамического диапазона. Тут без инновационного подхода никак не обойтись. Важно отметить, что заметное улучшение характеристик камер происходит с одновременным уменьшением стоимости, делая их более доступным. Все известные и не очень производители имеют в своем портфолио устройства на базе сенсоров Sony. Давайте на примере метаморфоз, произошедших с продукцией японской компании, познакомимся с современным разнообразием сенсоров для камер машинного зрения и видеонаблюдения.

Сенсоры Pregius

В 2013 г. громом средь ясного неба для непосвященной публики стало заявление японцев о намерениях отказаться от выпуска сенсоров на основе доминирующей в плане качества изображения с начала 80-х технологии ПЗС (CCD). Компания Sony решила перейти к недорогой, но долгое время не способной сравниться с ПЗС по функциональности технологии КМОП (CMOS). В подтверждение серьезности намерений рынку было представлено первое поколение сенсоров Sony Pregius IMX174/IMX249. В этом и всех последующих поколениях сенсоров Pregius производитель будет придерживаться политики двух линеек продуктов со схожими характеристиками: более функциональный и высокоскоростной IMX174 и бюджетный IMX249, обладающий в принципе тем же разрешением и чувствительностью, но стоящий в разы меньше.
Название Pregius составлено из слов Precision (как отражение высокого качества изображения – High-Precision) и GS (Global Shutter) – глобальный затвор. Sony удалось объединить лучшие характеристики своих КМОП (скорость и эффективность фирменной технологии EXMOR) и ПЗС (высокая чувствительность, низкие шумы) продуктов. Представители первого поколения Pregius сразу превзошли своих ПЗС (CCD) предшественников по всем статьям, сохранив низкую стоимость производства и, как следствие, доступность КМОП (CMOS). В дальнейшем Sony развивает успех, выпустив еще три поколения Pregius, дополнив их очень интересными специализированными версиями.

4 поколения сенсоров

Сегодня выпускается четыре поколения сенсоров Pregius с разными потребительскими характеристиками. Определить поколение сенсора Pregius проще всего по размеру пикселя.

Каждое обладает своими особенностями и преимуществами, делающими его лучшим выбором для конкретной задачи. Ниже приведены диаграмма (рис. 1) демонстрирующая основные характеристики сенсоров разных поколений, и некоторые рекомендации по их применению.

Рис. 1. Характеристики сенсоров разных поколений

Как выбрать сенсор Pregius?

Не вникая в технические детали, можно изложить краткое руководство по выбору сенсора следующим образом:

• Первое поколение – "заслуженный ветеран". Отличная чувствительность, разумная стоимость, но дорогая, крупноформатная и массивная оптика 1". Небольшое разрешение и ограниченный выбор сенсоров. В большинстве задач успешно заменяется более компактными сенсорами третьего поколения.
• Второе поколение – "массовый сегмент". Компромисс невысокой цены, большого выбора разрешений и хорошей производительности.
• Третье поколение – приложения, требовательные к чувствительности и динамическому диапазону. Работа с быстродвижущимися или слабоосвещенными объектами. Высокая чувствительность в ближнем ИК 850 нм. Ограниченный выбор разрешений ввиду достаточно крупного размера пикселя 4,5 мкм.
• Четвертое поколение – высокопроизводительные решения. Высокое разрешение, скорость при сохранении хорошей чувствительности и самые богатые функциональные возможности (HDR). Дорогая оптика для пикселя небольшого размера 2,74 мкм.

Рис. 2. Технология BSI в сенсорах SONY Pregius S

Особенности сенсоров Pregius 4-го поколения

Последнее, четвертое, поколение, благодаря технологическим нововведениям заслужило специальное название Pregius S. Впервые в сенсорах с глобальным затвором воплощена технология BSI – Back Side Illuminated.

Перенос части электронных компонентов дал возможность сохранить чувствительность уменьшившегося до 2,74 мкм пикселя на уровне более крупных предшественников. Смещение чувствительного элемента к микролинзе увеличило количество падающего на пиксель под углом света, что особенно важно для периферийных областей крупноформатных сенсоров. С функциональной точки зрения самым заметным новшеством стал режим расширения динамического диапазона HDR, реализованный непосредственно на сенсоре. Увеличенная скорость передачи изображений и большое разрешение нашли свое применение в высокоскоростных камерах на базе верхней линейки 10G Ethernet серии LUCID Atlas10.

Специализированные модели

Особого разговора заслуживают специализированные модели, в основу которых легли те же технологии.

Камера LUCID Triton TRI054S

При дневном освещении иногда динамического диапазона даже очень хорошей камеры недостаточно для отображения темных и освещенных ярким солнечным светом участков.

Расширение динамического диапазона, полученное совмещением нескольких изображений с разной экспозицией, называют HDR (High Dynamic Range). Существует несколько подходов к реализации HDR, но, пожалуй, самый эффективный – когда все преобразования выполняются непосредственно на сенсоре. Отличное предложение от компании Sony – "автомобильный" сенсор IMX490, который можно найти, например, в промышленных IP67 камерах LUCID Triton TRI054S. Каждый результирующий пиксель есть комбинация четырех значений интенсивности, из которых на основании задаваемых программно правил компонуется результирующее изображение с эффективным динамическим HDR диапазоном в 120 Дб. Технология Sony BSI гарантирует высокую чувствительность при скромных размерах пикселя 3 мкм. Вытянутый формат матрицы и функция подавления мерцания светодиодов дорожных знаков LFM (LED Flicker Mitigation) дополняют преимущества HDR при наблюдении широкой полосы движения в системах автовождения (ADAC).

Камеры на основе поляризационных сенсоров Sony IMX264

Практикам хорошо известно, какую помощь в борьбе с бликами оказывает поляризация. Традиционное решение – установка поляризационного фильтра и его последующая подстройка "вращением". Эффективность такого решения ограничена конкретным расположением и свойствами камеры, освещения, объекта и фильтра. Совершенной иной уровень использования эффекта поляризации предлагают камеры на основе поляризационных сенсоров Sony PolarSense IMX264, например LUCID Triton TRI050S1, которые, помимо интенсивности, выдают степень и угол поляризации (AOL, DOL). Мы получаем возможность "крутить" виртуальный поляризационный фильтр для выбора нужных угла и степени поляризации. Помимо исключения бликов, поляризация света помогает решать задачи инспекций прозрачных объектов, наблюдения в темноте и определения трехмерных форм: угол и степень поляризации отраженного потока зависят от угла падения света на объект.

Серии Sony DepthSense IMX556 и IMX990/IMX991 SenSWIR

В завершение стоит упомянуть серию Sony DepthSense IMX556, послужившую основой 3D ToF камер LUCID Helios2. На базе Sony SenSWIR IMX990/IMX991 в ближайшем будущем появятся камеры, способные создавать изображение в диапазоне от ультрафиолетового до ИК с длинной волны от 0,4 до 1,7 мкм.

Повышение разрешения, скорости, чувствительности, новые спектральные диапазоны и функции открывают для разработчиков систем машинного зрения, видеонаблюдения, управления транспортом впечатляющие перспективы, которыми они наверняка не преминут воспользоваться.

В статье использованы материалы компаний Sony Corporation и LUCID Vision Labs.

Опубликовано в журнале "Системы безопасности" №4/2021