АДИС: результаты сравнительных испытаний

В журнале "Системы безопасности" № 2/2021 г. в статье "АДИС: скорость, анализ, результат" (стр. 76–78) мы рассмотрели основные задачи, параметры, структуру, критерии эффективности и проблемы эксплуатации автоматизированной дактилоскопической информационной системы (АДИС, в зарубежных источниках AFIS). Сегодня мы озвучим данные испытаний, проводимых для оценки технологий и алгоритмов распознавания отпечатков пальцев. На основании результатов испытаний приведена также оценка величины минимальных ошибок распознавания.

Методология сравнительных испытаний алгоритмов

Методология и правила проведения испытаний изложены в ГОСТ Р ИСО/МЭК 19795-1– 2007 "Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура". Этот ГОСТ [1] устанавливает общие требования к проведению эксплуатационных испытаний биометрических систем, определяет эксплуатационные характеристики, а также требования к записи данных и представлению результатов испытаний.

ГОСТ Р ИСО/МЭК 19795-1–2007 необходимо использовать вместе с другими стандартами комплекса "Идентификация биометрическая".
Он устанавливает следующие виды испытаний:

1. Технологическое испытание (Technology Evaluation): испытание одного или более алгоритмов распознавания одинаковых биометрических модальностей с использованием существовавшей ранее или специально собранной базы данных образцов в режиме отложенного задания.
2. Сценарное испытание (Scenario Evaluation): испытание, при проведении которого эксплуатационные характеристики системы определяются с помощью прототипа или имитирующего приложения.
3. Оперативное испытание (Operational Evaluation): испытание, в котором эксплуатационные характеристики биометрической системы определяются в специальных условиях эксплуатации по специальной целевой выборке.

Технологическое испытание

В процессе технологического испытания проводят испытание всех алгоритмов с использованием стандартизированной базы данных, собранной "универсальным" датчиком сбора данных (то есть датчиком, собирающим образцы, подходящие для всех испытуемых алгоритмов). Несмотря на то что для разработки и настройки биометрической системы перед испытанием могут использоваться экспериментальные данные, необходимо, чтобы фактическое испытание проводилось на данных, заведомо неизвестных разработчикам алгоритмов.

Испытание проводят путем обработки данных в режиме отложенного задания. Вследствие неизменяемости базы данных результаты технологических испытаний являются воспроизводимыми.

ГОСТ Р ИСО/МЭК 19795-1–2007 устанавливает следующие виды испытаний: технологическое, сценарное и оперативное.

Сценарное испытание

В процессе сценарного испытания проводят испытание всей биометрической системы в условиях, моделирующих определенную ситуацию, максимально приближенную к действительности. Каждая испытуемая биометрическая система имеет свой собственный датчик сбора данных, в результате чего могут быть небольшие различия в получаемых начальных данных. Воспроизводимость результатов испытания обеспечивается тщательным контролем выполнения сценария.

Оперативное испытание

Оперативные испытания проводят с целью проверки биометрических систем в рабочих условиях с использованием целевой выборки. Оперативные испытания могут включать в себя наблюдение за эксплуатационными характеристиками рабочих биометрических систем или оценку эксплуатационных характеристик при проведении оперативных испытаний. В общем случае из-за недокументированных различий в условиях эксплуатации добиться воспроизводимости результатов оперативных испытаний невозможно. Более того, трудно установить "истинную информацию" (то есть найти истинный источник "достоверных" биометрических параметров), особенно в условиях проведения оперативного испытания при отсутствии администратора, оператора или наблюдателя.

Для открытой (доступной) оценки производительности АДИС используются в основном технологические испытания. Сценарные и оперативные испытания обычно проводятся заказчиками (правоохранительными ведомствами) в закрытом режиме.

Таблица 1. Характеристики базы проверочных данных

Направления работ в NIST по дактилоскопии

Проводимые Национальным институтом стандартов и технологий США (The National Institute of Standards and Technology, NIST) исследования касаются только технологических испытаний.

При проведении оценки качества работы АДИС в первую очередь следует обратить внимание на сравнение технологий распознавания отпечатков пальцев различных производителей FpVTE (The Fingerprint Vendor Technology Evaluation) и испытания PFT (Proprietary Fingerprint Template) с оценкой проприетарных шаблонов отпечатков пальца. Проприетарные шаблоны – это тип файла, который хранит функции отпечатка пальца таким образом, что их может понять только создатель файла.

Интересна также проводимая NIST оценка обмена данными контрольных точек отпечатка пальца (MINEX).

FpVTE – независимая оценка технологии идентификации и систем проверки отпечатка пальцев. Она была предложена для того, чтобы определить возможность систем распознавания отпечатков пальцев соответствовать различным применениям. FpVTE была проведена в первую очередь для оценки текущих возможностей алгоритмов сравнения отпечатков пальцев с использованием операционных наборов данных, содержащих несколько миллионов образцов. Было выделено три класса испытаний, в которых тестировались различные комбинации от одного пальца до десяти пальцев.

Результаты FpVTE основаны на технологиях и возможностях сопоставления отпечатков пальцев (одного ко многим), они тестировались с 2003 г. и в настоящее время устарели. Для получения результатов о более поздних возможностях технологии сопоставления отпечатков пальцев (один к одному) необходимо обратиться к результатам, опубликованным на вебсайте тестирования проприетарного шаблона отпечатков пальцев PFT. Возможности технологии сопоставления отпечатков пальцев с использованием обмена стандартными шаблонами Minutiae размещены на веб-сайте Minutiae Exchange (MINEX).

Результаты FpVTE основаны на технологиях и возможностях сопоставления отпечатков пальцев (одного ко многим), они тестировались с 2003 г. и в настоящее время устарели. Для получения результатов о более поздних возможностях технологии сопоставления отпечатков пальцев (один к одному) необходимо обратиться к результатам, опубликованным на веб-сайте тестирования проприетарного шаблона отпечатков пальцев PFT.

Различия между тестами PFT и FpVTE

Существует два основных различия между тестами PFT и FpVTE. Во-первых, оценки PFT выполняются на больших выборках каждого набора данных. Во-вторых, во время тестирования FpVTE каждому поставщику был предоставлен набор из N изображений и предложено вернуть матрицу NxN совпадающих оценок.

Программа для проведения тестирования в FpVTE была написана каждым поставщиком и запущена на собственном компьютерном оборудовании поставщика. В тестировании PFT каждый вызов функции Matcher (сравнения шаблонов) сравнивает два пальца одновременно и возвращает оценку приложению, написанному NIST. Приложение, выполняющее сопоставления, использует библиотеки SDK, поставляемые каждым поставщиком, и работает на компьютерном оборудовании NIST.

Таблица 2. Результаты теста FV-HARD-1.0, 2020–2021 гг.

PFT

Программа Proprietary Fingerprint Template (PFT) Национального института стандартов и технологий – это программа оценки биометрических технологий, измеряющая производительность генерации шаблонов отпечатков пальцев и программного обеспечения для сравнения с использованием патентованных шаблонов отпечатков пальцев поставщиков. PFT отличается от проверки взаимозаменяемости стандартных шаблонов, которая проводится в программе MINEX.

Первоначально PFT [2] оценивала точность алгоритма сопоставления для нескольких небольших наборов данных. В 2010 г. PFT была заменена на PFT II [3], добавлены более крупные наборы данных и расширенный анализ.

В октябре 2019 г. на смену PFT II пришла запатентованная NIST технология PFT III (One-to-One Fingerprint Template Generation and Matching Technology Evaluation). Оцениваются простые оптические, рулонные и чернильные отпечатки с разрешением 500 и 1000 пикселей на дюйм, а также бесконтактные изображения. Новые наборы данных добавляются по мере их появления.

PFT III – это оценка технологии отпечатков пальцев, изучающая производительность и точность проприетарных шаблонов отпечатков пальцев, используемых при сопоставлении один к одному.

PFT предназначена для оценки основных алгоритмических возможностей технологии. Эта оценка проверяет точность конечных алгоритмов сравнения, то есть вычислительно дорогостоящих алгоритмов, используемых на самых последних этапах поиска автоматизированной системы отпечатков пальцев в режиме "один ко многим". Эта оценка не обязательно отражает способность поставщика внедрять крупномасштабные технологии идентификации, поскольку разработка АДИС требует учета компромиссов между эффективностью, стоимостью, точностью и другими ресурсами, а также использует многоступенчатые методы сопоставления для ускорения поиска.

Конкурс FVC проводится биометрической системной лабораторией (Biometric System Laboratory) Болонского университета (University of Bologna, Italy) с 2000 г. по настоящее время.
В настоящее время база проверочных данных содержит следующие тесты: FV-TEST, FV-STD-1.0 и FV-HARD-1.0.

Высокая точность оценки также автоматически не означает, что поставщик имеет возможность выполнить полномасштабную установку АДИС.

FpVTE

FpVTE [4] проводилась главным образом для оценки текущих возможностей алгоритмов сопоставления отпечатков пальцев с использованием операционных наборов данных, содержащих несколько миллионов объектов. Было установлено три класса оценки, которые исследовали идентификацию "один ко многим" с использованием различных комбинаций пальцев от одного до десяти. В классе A использовались данные захвата одним указательным пальцем и оценивалась идентификация одного указательного пальца (правого или левого) и двух указательных пальцев (правого и левого).

Класс B использовал идентификационные плоские (IDFlat) захваты (4–4–2; левый оттиск, правый оттиск и два больших пальца одновременно) и оценивал десять пальцев, восемь пальцев (правый и левый оттиски) и четыре пальца (правый или левый оттиск). В классе C использовались прокатные и плоские оттиски (4–4–1–1; левый оттиск, правый оттиск, левый большой палец и правый большой палец).

Наборы для регистрации, используемые для идентификации "один ко многим", варьировались по размеру от 5 тыс. до 5 млн зарегистрированных объектов.

В дополнение к измерению текущих возможностей производительности алгоритмов идентификации "один ко многим" в FpVTE также было проведено: 

• изучение открытой идентификации по сравнению с зарегистрированными размерами выборки, охватывающими несколько миллионов;
• оценка операционных наборов данных, содержащих более новые данные из систем захвата с "десятью пальцами" для сканирования в реальном времени, других устройств захвата в реальном времени (например, для одного или нескольких пальцев) и исторически значимых отсканированных отпечатков пальцев с чернилами;
• анализ точности идентификации "один ко многим", скорости, размера шаблона, количества пальцев, размера набора регистрации и оценки вычислительных ресурсов;
• создание хранилища данных тестирования отпечатков пальцев с исправлением ошибок.

Таблица 3. Результаты FpVTE* [4], 2012 г.* Результаты для класса C: 10 пальцев, набор регистрации 5 млн. Буква относится к буквенному коду участника.
FNIR был рассчитан при пороговом значении, FPIR = 10-3.

Точность идентификации по отпечаткам пальцев

Наиболее точные данные по идентификации отпечатков пальцев достигли уровня ложной отрицательной идентификации (FNIR, или "промахов") в 1,9% для одного указательного пальца, 0,27% для двух указательных пальцев, 0,45% для плоских отпечатков с четырьмя пальцами (IDFlats), 0,15% для IDFlats с восемью пальцами, 0,09% для IDFlats с десятью пальцами, 0,1% для проката с десятью пальцами, 0,13% для простого, без прокрутки, отпечатка и 0,11% для плоского проката. Эти цифры даны в соответствии с ложноположительным показателем идентификации (FPIR) 10–3.

Число использованных зарегистрированных субъектов составило 100 тыс. для одного указательного пальца, 1,6 млн для двух указательных пальцев, 3 млн для IDFlats и 5 млн для сравнения десяти пальцев.

Некоторые выводы:

1. Точность и скорость: самые быстрые представления были не самыми точными. Наиболее точные представления показали возможность сокращения времени поиска с минимальной потерей точности.
2. Количество пальцев: использование большего количества пальцев повышает точность. Наиболее точные результаты были достигнуты десятью пальцами, при поиске по наибольшим наборам образцов из 3 и 5 млн. Показательно, что точность указательного пальца была лучше, чем у IDFlats с четырьмя пальцами.
3. Списки кандидатов: для большинства лучших исполнителей в большинстве случаев образец появлялся в тройке лучших кандидатов из списка кандидатов или вообще не появлялся.
4. Тип данных: было три класса участия, в которых были оценены данные с одного пальца, IDFlats, "устаревшие" типы данных с прокатными отпечатками и обычные отпечатки.
5. Разрыв в точности: "разрыв" между наиболее точными представлениями и следующим уровнем гораздо меньше, чем в FpVTE-2003.

Таблица 4. Результаты PFT II для различных участников [6]

Данные по конкурсу FVC

Конкурс FVC [5] проводится биометрической системной лабораторией (Biometric System Laboratory) Болонского университета (University of Bologna, Italy) с 2000 г. по настоящее время.

В настоящее время база проверочных данных содержит следующие тесты:

• FV-TEST: простой набор данных;
• FV-STD-1.0: содержит изображения отпечатков пальцев, полученные в рабочих условиях с использованием высококачественных оптических сканеров;
• FV-HARD-1.0: Содержит соответствующее количество сложных случаев (шумные изображения, искаженные впечатления и т.д.), это делает проверку отпечатков пальцев более сложной задачей.

Итоги конкурса FVC представлены в табл. 1 и 2. Результаты испытаний FpVTE, PFT III и FVC представлены в табл. 3–5.

Как видно из приведенных таблиц, минимальные типичные значения ошибки второго рода составляют 0,001 (при значении ошибки первого рода 0,001). Значение 0,0008 в последней таблице соответствует комбинации двух пальцев.

MINEX III

Minutiae Interoperability Exchange (MINEX) III [8] – это непрерывное тестирование шаблонов отпечатков пальцев, установленных в приложении "а" к нормативу NIST SP 800-76-2. Этот тест используется для установления соответствия генераторов шаблонов и алгоритмов анализа шаблонов программе проверки личной идентичности правительства США (PIV).

MINEX III оценивает программное обеспечение для генерации шаблонов и их анализа. Участники представляют генератор шаблонов и, при необходимости, алгоритм сравнения шаблонов.

Все тестирование проводится в автономном режиме. Единственные данные, разрешенные для хранения в совместимом с MINEX шаблоне, – это стандартные типы (окончание гребня, бифуркация и др.), угол, местоположение и качество, а также положение пальцев и качество изображения.

Тестирование MINEX [9] обнаружило, что способность создавать взаимозаменяемые шаблоны не означает автоматической возможности создавать точный алгоритм сравнения (Matcher), при этом генераторы шаблонов и Matcher должны быть сертифицированы отдельно.
Тест [10] Minutiae Interoperability Exchange Test (MINEX) был проведен для определения возможности использования стандартных шаблонов в качестве среды обмена информацией об отпечатках пальцев между различными системами сопоставления отпечатков пальцев. Этот тест не предназначен специально для ранжирования поставщиков, а скорее для определения того, могут ли различные подмножества поставщиков создавать соответствующие друг другу (и стандартам) шаблоны.

Таблица 5. Результаты PFT III* 2019 г. [7]* Значения частоты ложных несовпадений при определенных коэффициентах ложных совпадений для набора данных PFT III POE + BVA, разделенные положением пальца (данные для фирмы Neurotechnology).

Достижения российских компаний

В декабре 2014 г. [12] NIST опубликовал результаты тестирования возможностей алгоритмов сопоставлять отпечатки пальцев, проводимых в рамках конкурса FpVTE. База данных варьировалась по размеру от 10 тыс. до 5 млн предметов. Российские компании "Сонда" и "Папилон" успешно прошли испытания.

Алгоритм "Сонда" [11] [13] в 2020 г. успешно завершил одно из испытаний в области биометрии – сертификацию MINEX III. В настоящий момент компания "Сонда Про" является единственным российским предприятием, которое прошло сертификацию MINEX III (табл. 6).

Алгоритмы "Сонда" ранее также занимали призовые меcта в конкурсе FVC.

Таблица 6. Лучшие результаты тестирования MINEX III, декабрь 2020 г.

Вывод

По результатам проведенных испытаний в NIST и Болонском университете можно считать, что наилучшие значения ошибок второго рода можно принять равным 0,001 при уровне ошибок первого рода = 0,001.

Список литературы:

1. ГОСТ Р ИСО/МЭК 19795-1–2007 "Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1.
   Принципы и структура".
2. https://www.nist.gov/programs-projects/proprietary-fingerprint-template-evaluations-pft-overview
3. https://www.nist.gov/itl/iad/image-group/ nist-proprietary-fingerprint-template-pft-evaluation-2003–2010
4. Craig Watson, Gregory Fiumara, Elham Tabassi, Su Lan Cheng, Patricia Flanagan, Wayne Salamon. NISTIR 8034 Fingerprint Vendor Technology Evaluation.
5. https://biolab.csr.unibo.it/fvcongoing/UI/ Form/Home.aspx
6. Su Lan Cheng, Gregory Fiumara, Craig Watson. NISTIR 7821.; PFTII report. Plain and Rolled Fingerprint Matching with Proprietary Templates.
7. Neurotechnology Proprietary Fingerprint Template (PFT) Evaluation III Last Updated: 09 December 2019. https://www.nist.gov/itl/iad/imagegroup/proprietary-fingerprint-template-pft-iii
8. https://www.nist.gov/itl/iad/image-group/ minutiae-interoperability-exchange-minex-iii
9. https://www.nist.gov/publications/minex-performance-and-interoperability-incits-378-fingerprint-template
10. Patrick Grother, Michael McCabe, Craig Watson, Mike Indovina, Wayne Salamon, Patricia Flanagan, Elham Tabassi, Elaine Newton, Charles Wilson. MINEX. Performance and Interoperability of the INCITS 378 Fingerprint Template NISTIR 7296 National Institute of Standards and Technology March 21, 2006.
11. http://sonda.ru/press/news/19_10_2020.html
12. NISTIR 8034 Fingerprint Vendor Technology Evaluation National Institute of Standards and Technology.
13. https://www.nist.gov/itl/iad/image-group/ minex-iii-compliant-submissions.

Опубликовано в журнале "Системы безопасности" №3/2021