Подписка

Решение сложных задач при обучении нейросетей

05/04/19

Дмитрий Антонов, руководитель направления Департамента развития продуктов компании ISS.
 
antonov
 

Опыт последних нескольких лет позволил сформировать понимание, как действовать для решения той или иной задачи.

Чтобы обучить нейронную сеть, нужно собрать и разметить огромное количество данных. Сбор данных – пожалуй, одна из самых затратных задач в нейросетевой разработке. Обучающая выборка должна максимально разносторонне представлять целевой объект. Сеть нужно обучать на множестве изображений с вариантами погодных условий, угла и дистанции съемки, освещенности и других параметров. Где взять такое разнообразие? В нашем распоряжении огромная база для обучения: у компании более 100 тыс. внедрений по всему миру. Кроме того, практикуем сбор данных под целевую задачу, организуя фотосъемку нужных для обучения объектов.

Моделям машинного обучения нужно большое число размеченных данных. Разметка данных – длительный и трудоемкий процесс. На каждом изображении нужно вручную обвести границы объекта. Чем точнее мы выделим границы номерной пластины автомобильного номера, тем выше будет качество алгоритма. Соответственно, размечать нужно с точностью до пикселей. Как организовать разметку данных и проконтролировать ее корректность, когда речь идет о десятках и сотнях тысяч изображений? Мы используем Computer Vision Annotation Tool – инструмент с открытым исходным кодом для разметки цифровых изображений и видео. Сервис поддерживает разные типы и форматы разметки и многократно ее ускоряет.

Анализ поведения нейросети с помощью стандартных инструментов в фреймворках и наших внутренних средств визуализации помогает проводить регулировку обучающего процесса. Кроме того, стандартные подходы к тестированию не всегда соответствуют практическим задачам. В результате мы выработали собственные подходы из средств программной реализации для тестирования нейросетей.

Читайте другие мнения в журнале "Системы безопасности" #1, 2019

Темы:НейросетиМнение экспертаЭкспертизаГлубинное обучение