Максим Сорока, Витэк 06/05/20
Мульти- и гиперспектральные изображения, полученные со спутников или посредством аэрофотосъемки, давно используются в задачах мониторинга лесов, полей и водоемов. Развитие коммерческой беспилотной авиации, автономных наземных транспортных средств и технологий машинного зрения в совокупности с мощными вычислительными платформами, программными инструментами обработки и анализа изображений расширили возможности применения мультиспектральных изображений, в том числе в сельском хозяйстве для контроля состояния растений в процессе их роста.
Системами технического, компьютерного, машинного зрения мы занимаемся уже более 20 лет. В отличие от весьма распространенных систем видеонаблюдения, которые только в последнее время начинают широко внедрять видеоаналитику, для нас получаемое изображение с самого начала есть источник данных для математической обработки с целью получения формализованной информации об объекте.
С момента создания компании в 1995 г. мы занимались и продолжаем заниматься промышленными измерениями, испытательными стендами, где основной источник информации – это измерение температуры, вибрации и других параметров. В свое время видеокамера стала для нас еще одним "датчиком". Однако развитие промышленности в нашей стране оставляет желать лучшего, поэтому машинное зрение начало играть все более существенную роль в нашем бизнесе. Этому способствовали и глобальные метаморфозы, что за последние 20 лет претерпели технологии машинного зрения, и неразрывно связанные с ними компьютерные платформы и программные инструменты.
Подобно тому как телефон из висящей на стене черной эбонитовой коробки с диском превратился в смартфон, системы технического зрения из громоздкой дорогой аналоговой камеры и компьютера размером со шкаф с устройством чтения перфокарт трансформировался в компактный, доступный по цене набор оборудования. Совсем другими стали и средства разработки программного обеспечения. Таким образом, появилась возможность использовать технологии машинного зрения не только для научных или специальных задач и дорогостоящих испытаний, но и, условно выражаясь, в быту.
В мире машинное зрение наиболее широко применяется при производстве автомобильных компонентов и электроники. Но, как уже упоминалось, эти направления в России развиваются не очень динамично. В то же время сельское хозяйство показывает стабильный рост.
Поэтому мы видим его наиболее перспективной областью применения машинного зрения у нас в стране, если не считать продвинутые системы
безопасности в организации дорожного движения, о которых уже много сказано и говорится разными авторами.
Стратегия нашей компании заключается в том, чтобы выступать в роли поставщика технологий и платформ. Мы убеждены, что эффективно решать конкретные задачи с помощью машинного зрения могут только люди на местах в тесном сотрудничестве с инженерами и агрономами, вовлеченными в процесс производства сельскохозяйственной продукции или оборудования.
Из лабораторий на поля
Задачи, которые в сельском хозяйстве можно решить с помощью машинного зрения, я бы условно разделил на два класса: глобальные и локальные.
Машинное зрение давно используется в сельском хозяйстве для автоматизации органолептических методов исследования в лабораториях. Все, что меняет цвет и/или форму, можно контролировать не только руками или линейкой, но и гораздо эффективнее – с помощью машинного зрения. Видеокамеры в этих "локальных" задачах применяются со времен СССР.
Над "глобальной" задачей – оценкой состояния насаждений, посевов и водоемов с помощью мультиспектральных изображений с летательных аппаратов – работа идет как минимум уже 10–15 лет. Вначале это были исследования лесов, полей, озер по снимкам из космоса.
С развитием техники и возможностью детализации стали заниматься и сельскохозяйственными задачами, оценкой состояния посевов и посадок
различного вида биологических культур.
Но не все и не всегда можно увидеть из космоса или с борта самолета. Различные погодные условия, разрешение и чувствительность оптических систем, требования контролирующих органов ограничивают область применения больших летательных аппаратов. С появлением дронов и различного рода самодвижущихся наземных "тележек" открылись новые возможности получения изображений с их помощью, в том числе мультиспектральных. Снизилась стоимость практического применения, повысились разрешение, точность, чувствительность, и расширились области применения.
С моей точки зрения, в последние три-четыре года комбинация дрона, системы технического зрения и современных вычислителей (встраиваемое машинное зрение) открыла широчайшие возможности для частного бизнеса и прикладной науки в области оценки и мониторинга состояния посевов, урожая. Географическая протяженность российских просторов делает эту область деятельности особенно привлекательной.
Раньше данные функции отчасти выполняла авиация, но ее использование было доступно только крупным хозяйствам. Сейчас же небольшие предприятия, используя автономные мобильные платформы, машинное зрение, нейронные сети и облачные вычисления, могут предложить на местах услуги по оценке состояния посевов, покосов, садов и активности движения скота небольшим крестьянским хозяйствам и фермерам.
Вместе с тем развивается и тематика "локальных" решений. Сельскохозяйственный бизнес, и крупный, и не очень, заинтересован в создании портативных устройств, которые позволяют получить объективную оценку состояния урожая с высокой достоверностью, не хуже опытных, ведущих специалистов. Если речь идет о посевах зерновых или масличных культур, то часто достаточно анализа мультиспектрального изображения, полученного с квадрокоптера. Но когда речь о плодовых – яблоках/помидорах/огурцах/бахчевых – то необходимы мультиспектральные изображения плодов и устройства для их захвата. Летательные аппараты тут редко могут помочь. Альтернатива – портативные носимые или мобильные, размещаемые на наземной технике, устройства.
Зачем нужны и как получить мультиспектральные изображения
Мульти- или (в зависимости от количества спектров) гиперспектральные изображения – это технология, которая появилась и используется достаточно давно. Ее родоначальником можно считать цветное изображение, которое можно представить в формате RGB как композицию трех цветов – красного, синего и зеленого.
Таким образом, цвет – это набор пока только трех чисел, характеризующих интенсивность отражения света в этих спектральных диапазонах. Назовем его спектральной сигнатурой.
Машинное зрение, в отличие от человеческого глаза, может различать гораздо больше спектральных диапазонов, чем RGB, поэтому обладает лучшей избирательностью.
Исследования последних 20–30 лет показали, что у объектов биологического происхождения в разных их состояниях есть явно выраженная спектральная сигнатура – значение интенсивности определенных спектральных диапазонов.
На основании спектральной сигнатуры появляется возможность отделить один объект от другого или разделить состояния объектов.
Рис. 1. Применение мультиспектрального изображения для обработки снимков аэрофотосъемки (по материалам www.researchgate.net)
На рис. 1 показано классическое применение мультиспектрального изображения для обработки снимков аэрофотосъемки. На основе сигнатур, то есть значений интенсивности отражения определенных длин волн, можно отделять одни объекты от других, а при более детальном анализе и определять состояние объектов, в данном случае лесов и водных ресурсов.
Существуют различные способы получения мультиспектральных изображений: при помощи дифракции на призме, набора узкополосных оптических фильтров, расположенных на матрице камеры или многокамерной системы, когда каждая камера снимает в определенном спектральном диапазоне. Во всех вышеперечисленных случаях источник освещенности – "белый" свет, представляющий собой широкий спектральный диапазон, охватывающий все интересующие нас полосы.
Практическое применение мультиспектральных изображений
Мы уже говорили о том, что с распространением квадрокоптеров появилась возможность размещать на них устройства для получения мультиспектрального изображения и с их помощью решать практические задачи: определять количество, плотность зеленых насаждений, состояние растений (угнетенные, недостаток питания), наличие сорняков, объем урожая; измерять температуру почвы, воды, животных.
Рис. 2. Мониторинг состояния растительного слоя, основанный на мультиспектральных снимках и спектральных индексах (по материалам www.gamaya.com)
На рис. 2. схематически изображен процесс, при котором с помощью снимков с квадрокоптера и анализа мультиспектральных изображений фермер получает на смартфон информацию о состоянии посевов – сорняках, здоровых, угнетенных и погибших растениях. На основании такого мониторинга фермер может принимать решения о поливе, внесении удобрений, сборе урожая.
Подобные сервисы работают во многих странах, в том числе и у нас. Технология относительно доступна: комплект квадрокоптер + камера стоит порядка 20 тыс. долларов. Крестьянскому хозяйству нет необходимости приобретать это оборудование, его осваивать, обслуживать и т.д.
"Ведущие тенденции безопасной идентификации" читать >>>
Практический результат, скажем оценка посевов, предоставляется как сервис от локальной компании, с конечным результатом не только в виде изображений, но, например, с картой распределения вегетативного индекса по полям и с выдачей конкретных рекомендаций по уходу за посевами. Здесь главное – в анализе изображений, умениях и знаниях специалистов и агрономов, потому что мультиспектральные сигнатуры очень сильно зависят и от особенностей их получения в конкретной местности, и от сортности и особенности роста самих растений. Мультиспектральное изображение картофельного поля в Канаде будет совершенно другим, чем в Сибири. Поэтому ключевым звеном в этой системе должен быть хороший агроном. Для того чтобы помочь фермерам, ему уже нет необходимости бегать по их полям. На основании своих знаний и опыта он оценивает полученные изображения и дает рекомендации, а также помогает обучать нейронные сети, которые впоследствии смогут принимать квалифицированные решения самостоятельно, не хуже профессионального эксперта.
На качество мультиспектрального изображения, получаемого при естественном освещении, влияют атмосфера, спектр солнечного света, облачность, влажность, пыль и множество других факторов.
Альтернативой является искусственное освещение, когда вместо широкополосного солнечного света мы применяем отдельные мультиспектральные полосы. Понятно, что осветить таким образом гектар посевов невозможно, но, если речь идет о яблоке или винограде, решение будет работать. Развитие полупроводниковой техники позволяет делать мультиспектральные светодиодные светильники и на их базе решать огромное количество задач.
Сервисы по получению мультиспектральных снимков при естественном освещении с высоты птичьего полета и их интерпретации с изображениями с портативных приборов с мультиспектральными светодиодными осветителями могут совмещаться и обогащать друг друга. Полученные измерения на земле сопоставляются с тем, что получено с воздуха, и одно уточняет другое.
С помощью ручных измерений можно существенно повысить информативность и достоверность методов анализа мультиспектральных изображений, полученных с воздуха.
Заключение
Таким образом, с помощью машинного зрения, в частности мультиспектральных систем, можно добиться существенного повышения эффективности сельского хозяйства – обеспечения заданных потребительских свойств и объемов выпуска продукции.
Инициатива среднего и мелкого бизнеса, оснащенного современными технологиями, подкрепленного разумными инвестициями со стороны сельхозпроизводителей, дает хороший шанс вывести ведение хозяйства на совершенно другой, цифровой уровень: улучшить показатели собственной прибыльности и рентабельности, а заодно и поспособствовать развитию локального высокотехнологичного предпринимательства.
Поделитесь вашими идеями