В журнале "Системы безопасности" № 2/2021 г. в статье "АДИС: скорость, анализ, результат" (стр. 76–78) мы рассмотрели основные задачи, параметры, структуру, критерии эффективности и проблемы эксплуатации автоматизированной дактилоскопической информационной системы (АДИС, в зарубежных источниках AFIS). Сегодня мы озвучим данные испытаний, проводимых для оценки технологий и алгоритмов распознавания отпечатков пальцев. На основании результатов испытаний приведена также оценка величины минимальных ошибок распознавания.
Методология и правила проведения испытаний изложены в ГОСТ Р ИСО/МЭК 19795-1– 2007 "Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура". Этот ГОСТ [1] устанавливает общие требования к проведению эксплуатационных испытаний биометрических систем, определяет эксплуатационные характеристики, а также требования к записи данных и представлению результатов испытаний.
ГОСТ Р ИСО/МЭК 19795-1–2007 необходимо использовать вместе с другими стандартами комплекса "Идентификация биометрическая".
Он устанавливает следующие виды испытаний:
В процессе технологического испытания проводят испытание всех алгоритмов с использованием стандартизированной базы данных, собранной "универсальным" датчиком сбора данных (то есть датчиком, собирающим образцы, подходящие для всех испытуемых алгоритмов). Несмотря на то что для разработки и настройки биометрической системы перед испытанием могут использоваться экспериментальные данные, необходимо, чтобы фактическое испытание проводилось на данных, заведомо неизвестных разработчикам алгоритмов.
Испытание проводят путем обработки данных в режиме отложенного задания. Вследствие неизменяемости базы данных результаты технологических испытаний являются воспроизводимыми.
ГОСТ Р ИСО/МЭК 19795-1–2007 устанавливает следующие виды испытаний: технологическое, сценарное и оперативное.
В процессе сценарного испытания проводят испытание всей биометрической системы в условиях, моделирующих определенную ситуацию, максимально приближенную к действительности. Каждая испытуемая биометрическая система имеет свой собственный датчик сбора данных, в результате чего могут быть небольшие различия в получаемых начальных данных. Воспроизводимость результатов испытания обеспечивается тщательным контролем выполнения сценария.
Оперативные испытания проводят с целью проверки биометрических систем в рабочих условиях с использованием целевой выборки. Оперативные испытания могут включать в себя наблюдение за эксплуатационными характеристиками рабочих биометрических систем или оценку эксплуатационных характеристик при проведении оперативных испытаний. В общем случае из-за недокументированных различий в условиях эксплуатации добиться воспроизводимости результатов оперативных испытаний невозможно. Более того, трудно установить "истинную информацию" (то есть найти истинный источник "достоверных" биометрических параметров), особенно в условиях проведения оперативного испытания при отсутствии администратора, оператора или наблюдателя.
Для открытой (доступной) оценки производительности АДИС используются в основном технологические испытания. Сценарные и оперативные испытания обычно проводятся заказчиками (правоохранительными ведомствами) в закрытом режиме.
Таблица 1. Характеристики базы проверочных данных
Проводимые Национальным институтом стандартов и технологий США (The National Institute of Standards and Technology, NIST) исследования касаются только технологических испытаний.
При проведении оценки качества работы АДИС в первую очередь следует обратить внимание на сравнение технологий распознавания отпечатков пальцев различных производителей FpVTE (The Fingerprint Vendor Technology Evaluation) и испытания PFT (Proprietary Fingerprint Template) с оценкой проприетарных шаблонов отпечатков пальца. Проприетарные шаблоны – это тип файла, который хранит функции отпечатка пальца таким образом, что их может понять только создатель файла.
Интересна также проводимая NIST оценка обмена данными контрольных точек отпечатка пальца (MINEX).
FpVTE – независимая оценка технологии идентификации и систем проверки отпечатка пальцев. Она была предложена для того, чтобы определить возможность систем распознавания отпечатков пальцев соответствовать различным применениям. FpVTE была проведена в первую очередь для оценки текущих возможностей алгоритмов сравнения отпечатков пальцев с использованием операционных наборов данных, содержащих несколько миллионов образцов. Было выделено три класса испытаний, в которых тестировались различные комбинации от одного пальца до десяти пальцев.
Результаты FpVTE основаны на технологиях и возможностях сопоставления отпечатков пальцев (одного ко многим), они тестировались с 2003 г. и в настоящее время устарели. Для получения результатов о более поздних возможностях технологии сопоставления отпечатков пальцев (один к одному) необходимо обратиться к результатам, опубликованным на вебсайте тестирования проприетарного шаблона отпечатков пальцев PFT. Возможности технологии сопоставления отпечатков пальцев с использованием обмена стандартными шаблонами Minutiae размещены на веб-сайте Minutiae Exchange (MINEX).
Результаты FpVTE основаны на технологиях и возможностях сопоставления отпечатков пальцев (одного ко многим), они тестировались с 2003 г. и в настоящее время устарели. Для получения результатов о более поздних возможностях технологии сопоставления отпечатков пальцев (один к одному) необходимо обратиться к результатам, опубликованным на веб-сайте тестирования проприетарного шаблона отпечатков пальцев PFT.
Существует два основных различия между тестами PFT и FpVTE. Во-первых, оценки PFT выполняются на больших выборках каждого набора данных. Во-вторых, во время тестирования FpVTE каждому поставщику был предоставлен набор из N изображений и предложено вернуть матрицу NxN совпадающих оценок.
Программа для проведения тестирования в FpVTE была написана каждым поставщиком и запущена на собственном компьютерном оборудовании поставщика. В тестировании PFT каждый вызов функции Matcher (сравнения шаблонов) сравнивает два пальца одновременно и возвращает оценку приложению, написанному NIST. Приложение, выполняющее сопоставления, использует библиотеки SDK, поставляемые каждым поставщиком, и работает на компьютерном оборудовании NIST.
Таблица 2. Результаты теста FV-HARD-1.0, 2020–2021 гг.
Программа Proprietary Fingerprint Template (PFT) Национального института стандартов и технологий – это программа оценки биометрических технологий, измеряющая производительность генерации шаблонов отпечатков пальцев и программного обеспечения для сравнения с использованием патентованных шаблонов отпечатков пальцев поставщиков. PFT отличается от проверки взаимозаменяемости стандартных шаблонов, которая проводится в программе MINEX.
Первоначально PFT [2] оценивала точность алгоритма сопоставления для нескольких небольших наборов данных. В 2010 г. PFT была заменена на PFT II [3], добавлены более крупные наборы данных и расширенный анализ.
В октябре 2019 г. на смену PFT II пришла запатентованная NIST технология PFT III (One-to-One Fingerprint Template Generation and Matching Technology Evaluation). Оцениваются простые оптические, рулонные и чернильные отпечатки с разрешением 500 и 1000 пикселей на дюйм, а также бесконтактные изображения. Новые наборы данных добавляются по мере их появления.
PFT III – это оценка технологии отпечатков пальцев, изучающая производительность и точность проприетарных шаблонов отпечатков пальцев, используемых при сопоставлении один к одному.
PFT предназначена для оценки основных алгоритмических возможностей технологии. Эта оценка проверяет точность конечных алгоритмов сравнения, то есть вычислительно дорогостоящих алгоритмов, используемых на самых последних этапах поиска автоматизированной системы отпечатков пальцев в режиме "один ко многим". Эта оценка не обязательно отражает способность поставщика внедрять крупномасштабные технологии идентификации, поскольку разработка АДИС требует учета компромиссов между эффективностью, стоимостью, точностью и другими ресурсами, а также использует многоступенчатые методы сопоставления для ускорения поиска.
Конкурс FVC проводится биометрической системной лабораторией (Biometric System Laboratory) Болонского университета (University of Bologna, Italy) с 2000 г. по настоящее время.
В настоящее время база проверочных данных содержит следующие тесты: FV-TEST, FV-STD-1.0 и FV-HARD-1.0.
Высокая точность оценки также автоматически не означает, что поставщик имеет возможность выполнить полномасштабную установку АДИС.
FpVTE [4] проводилась главным образом для оценки текущих возможностей алгоритмов сопоставления отпечатков пальцев с использованием операционных наборов данных, содержащих несколько миллионов объектов. Было установлено три класса оценки, которые исследовали идентификацию "один ко многим" с использованием различных комбинаций пальцев от одного до десяти. В классе A использовались данные захвата одним указательным пальцем и оценивалась идентификация одного указательного пальца (правого или левого) и двух указательных пальцев (правого и левого).
Класс B использовал идентификационные плоские (IDFlat) захваты (4–4–2; левый оттиск, правый оттиск и два больших пальца одновременно) и оценивал десять пальцев, восемь пальцев (правый и левый оттиски) и четыре пальца (правый или левый оттиск). В классе C использовались прокатные и плоские оттиски (4–4–1–1; левый оттиск, правый оттиск, левый большой палец и правый большой палец).
Наборы для регистрации, используемые для идентификации "один ко многим", варьировались по размеру от 5 тыс. до 5 млн зарегистрированных объектов.
В дополнение к измерению текущих возможностей производительности алгоритмов идентификации "один ко многим" в FpVTE также было проведено:
Таблица 3. Результаты FpVTE* [4], 2012 г.
FNIR был рассчитан при пороговом значении, FPIR = 10-3.
Наиболее точные данные по идентификации отпечатков пальцев достигли уровня ложной отрицательной идентификации (FNIR, или "промахов") в 1,9% для одного указательного пальца, 0,27% для двух указательных пальцев, 0,45% для плоских отпечатков с четырьмя пальцами (IDFlats), 0,15% для IDFlats с восемью пальцами, 0,09% для IDFlats с десятью пальцами, 0,1% для проката с десятью пальцами, 0,13% для простого, без прокрутки, отпечатка и 0,11% для плоского проката. Эти цифры даны в соответствии с ложноположительным показателем идентификации (FPIR) 10–3.
Число использованных зарегистрированных субъектов составило 100 тыс. для одного указательного пальца, 1,6 млн для двух указательных пальцев, 3 млн для IDFlats и 5 млн для сравнения десяти пальцев.
Некоторые выводы:
Таблица 4. Результаты PFT II для различных участников [6]
Конкурс FVC [5] проводится биометрической системной лабораторией (Biometric System Laboratory) Болонского университета (University of Bologna, Italy) с 2000 г. по настоящее время.
В настоящее время база проверочных данных содержит следующие тесты:
Итоги конкурса FVC представлены в табл. 1 и 2. Результаты испытаний FpVTE, PFT III и FVC представлены в табл. 3–5.
Как видно из приведенных таблиц, минимальные типичные значения ошибки второго рода составляют 0,001 (при значении ошибки первого рода 0,001). Значение 0,0008 в последней таблице соответствует комбинации двух пальцев.
Minutiae Interoperability Exchange (MINEX) III [8] – это непрерывное тестирование шаблонов отпечатков пальцев, установленных в приложении "а" к нормативу NIST SP 800-76-2. Этот тест используется для установления соответствия генераторов шаблонов и алгоритмов анализа шаблонов программе проверки личной идентичности правительства США (PIV).
MINEX III оценивает программное обеспечение для генерации шаблонов и их анализа. Участники представляют генератор шаблонов и, при необходимости, алгоритм сравнения шаблонов.
Все тестирование проводится в автономном режиме. Единственные данные, разрешенные для хранения в совместимом с MINEX шаблоне, – это стандартные типы (окончание гребня, бифуркация и др.), угол, местоположение и качество, а также положение пальцев и качество изображения.
Тестирование MINEX [9] обнаружило, что способность создавать взаимозаменяемые шаблоны не означает автоматической возможности создавать точный алгоритм сравнения (Matcher), при этом генераторы шаблонов и Matcher должны быть сертифицированы отдельно.
Тест [10] Minutiae Interoperability Exchange Test (MINEX) был проведен для определения возможности использования стандартных шаблонов в качестве среды обмена информацией об отпечатках пальцев между различными системами сопоставления отпечатков пальцев. Этот тест не предназначен специально для ранжирования поставщиков, а скорее для определения того, могут ли различные подмножества поставщиков создавать соответствующие друг другу (и стандартам) шаблоны.
Таблица 5. Результаты PFT III* 2019 г. [7]
В декабре 2014 г. [12] NIST опубликовал результаты тестирования возможностей алгоритмов сопоставлять отпечатки пальцев, проводимых в рамках конкурса FpVTE. База данных варьировалась по размеру от 10 тыс. до 5 млн предметов. Российские компании "Сонда" и "Папилон" успешно прошли испытания.
Алгоритм "Сонда" [11] [13] в 2020 г. успешно завершил одно из испытаний в области биометрии – сертификацию MINEX III. В настоящий момент компания "Сонда Про" является единственным российским предприятием, которое прошло сертификацию MINEX III (табл. 6).
Алгоритмы "Сонда" ранее также занимали призовые меcта в конкурсе FVC.
Таблица 6. Лучшие результаты тестирования MINEX III, декабрь 2020 г.
По результатам проведенных испытаний в NIST и Болонском университете можно считать, что наилучшие значения ошибок второго рода можно принять равным 0,001 при уровне ошибок первого рода = 0,001.
Опубликовано в журнале "Системы безопасности" №3/2021