Малоизвестные ошибки систем распознавания лиц. Как с ними жить и как избежать

Компании, которые используют или собираются использовать системы распознавания лиц, знают, что системы допускают ошибки. Они могут не сопоставить известного пользователя – ложное отрицание, они могут неправильно связать разных пользователей – ложное срабатывание. Подобные интерпретации возникают из-за многих факторов, например от свойств входных фотографий или даже от демографической группы распознаваемых лиц.

Совместный технический комитет (ISO/IEC JTC 1) ISO (Международной организации по стандартизации) и IEC (Международной электротехнической комиссии) и, в частности, Технический подкомитет 37, который работает над новым стандартом ISO/IEC 24358, выделяют ряд технических проблем, в значительной степени влияющих на количество ошибок работы систем распознавания.

Данный стандарт будет определять свойства биометрических подсистем сбора изображений лиц следующего поколения, предназначенных для повышения пригодности фотографий для автоматического распознавания лиц, уменьшения изменчивости этих фотографий, улучшения поддержки идентификации человеческого лица и предотвращения фальсификации и незаконной модификации фотографий.

Основные проблемы систем распознавания лиц

Специалисты выделяют следующие основные проблемы.

1. Большинство изображений лиц собираются с помощью камер, которые не распознают лица. Это контрастирует с ситуацией с биометрическими данными по отпечаткам пальцев и радужной оболочке глаза, когда датчики позволяют точно определить тип изображения, которое следует собрать. В итоге некоторые изображения включают два лица, возможно от кого-то на заднем плане или от рисунка футболки. Такие случаи могут подорвать узнаваемость.
2. Фотографии собираются без какой-либо оценки качества, полагаясь только на фотографа.
3. Оценка качества отделена от момента получения фото. Во многих случаях фотография собирается и позже отправляется на внутренний сервер, где она оценивается по качеству. Если обнаруживается низкое качество (человеческим или автоматическим способом), повторный сбор изображений лиц начинается через несколько часов или дней и с дополнительными расходами.
4. Плохое предъявление. Основные причины неудачи в распознавании возникают из-за того, что субъекты не демонстрируют прямое, нейтральное выражение лица, с открытыми глазами, без очков, их лица не находятся в правильном положении.
5. Доверие к повышению точности распознавания лиц. Алгоритмы распознавания лиц тщательно исследованы, а повышение точности подтверждено документально. Тем не менее нет подобных исследований в области улучшения качества изображения лица.
6. Автоматизированное и ручное распознавание лиц работают с разными типами изображений. Людям нужны фото с высоким разрешением, тогда как автоматизированные алгоритмы в основном построены на стандартизированных фронтальных видах с относительно низким разрешением.

Давайте попробуем оценить, чем грозит использование систем распознавания лиц без попыток устранения вышеперечисленных проблем.

Проблема 1. Оценка рисков ошибок

На рынке биометрии по лицу давно и прочно установился негласный стандарт оценки эталонного качества в виде тестов, проводимых Национальным институтом стандартов и технологий (NIST) при Министерстве торговли США. Это самый известный и независимый тест с закрытым датасетом. Практически все крупные производители систем распознавания в нем принимают участие и по праву гордятся своими результатами в нем. Алгоритмы теста проверяются на скорость и точность работы по нескольким разным фотобазам. Эти базы условно разделены по качеству лица на фото и имеют достаточно широкий разброс ошибок, в зависимости от набора данных.

Например, ошибки FNMR (false non-match rate) одного и того же алгоритма на базе VISA Photos и WILD Photos при одном и том же FMR (false match rate) могут различаться на порядки. На какой уровень ошибок тогда ориентироваться условному банку при оценке рисков оказания услуг, связанных с распознаванием лиц?

Проблема 2. Оценка точности на собственном датасете

Хорошо иметь многомиллионные датасеты для тестов. Но как быть компании, которая владеет своим набором данных? Как оценить работу конкретного алгоритма в конкретных условиях? Как понять, какой уровень ошибок здесь и сейчас? Добавим к этому понимание того, что качество алгоритма зависит от расы и демографических групп. Ответ прост: собрать свой тестовый набор данных, провести разметку и построить ROC-кривые. Но такая работа может занять не один месяц, при этом маловероятно, что размер базы фото позволит оперировать оценкой ошибок десять в минус шестой степени.

Общие рекомендации для владельцев систем распознавания

1. Ищите быстрые и многоплатформенные системы оценки качества фото. Идеально, если оценка сразу даст прогноз по уровню ошибок сравнения. Тогда часть вышеописанных проблем и задач решится автоматически. Подобных систем на рынке немного, но они есть.
2. Отдавайте предпочтение производителям, которые предлагают встроенный механизм тестирования на собственных датасетах заказчика, а в идеале могут передать часть датасета для разбавления собственной базы фото. И да, вы опять будете удивлены, насколько немного таких предложений.
3. Не экономьте на фронтальных компонентах получения фото. Селфи клиента, снятое одним кадром, – не лучшая идея, если вы хотите работать с качественной базой.

Ошибки распознавания лиц неизбежны, но уровень этих ошибок можно прогнозировать и оптимизировать. Хорошего вам распознавания!

Опубликовано в журнале "Системы безопасности" № 5/2022

Все статьи журнала "Системы безопасности"
доступны для скачивания в iMag >>

Изображение от rawpixel.com на Freepik