Тестирование биометрии: независимость, достоверность, значимость

В рубрику "Системы контроля и управления доступом (СКУД)" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Тестирование биометрии: независимость, достоверность, значимость

Распознавание человека с использованием его биометрических характеристик не может быть реализовано биометрической системой со стопроцентной вероятностью. Поэтому заказчик заинтересован в получении достоверной информации об эффективности систем в условиях, когда продавцы биометрии естественным образом стремятся преувеличить эксплуатационные характеристики предлагаемых ими продуктов

Заказчик биометрии нередко встает перед выбором: либо проводить собственные тесты, либо пользоваться результатами сторонних. Первое, как правило, связано со значительными материальными, людскими и временными затратами. Следовательно, большинство заказчиков вынуждены полагаться на результаты сторонних тестов, которые в полном объеме не всегда доступны на рынке. В такой ситуации поставщики биометрии предпочитают предоставлять заказчику выгодную им информацию о некоторых результатах тестирования биометрического продукта.

Таким образом, заказчику важно иметь доступ к достоверной информации обо всех авторитетных тестах, в которых принимал участие определенный разработчик или продукт биометрии.

С другой стороны, участие в определенных тестах становится для разработчика биометрии обязательным и значимым инструментом не только разработки, но продвижения, а частота участия в таких тестах - одним из главных показателей позиции на рынке.

Достоверность результатов тестов обычно проверяется в ходе изучения используемых баз данных, которые должны иметь качество и масштаб, достаточные для получения статически обоснованных результатов. Независимость тестов оценивается при анализе всех сторон, вовлеченных в тестирование. Значимость тестирования определяется при изучении технологических и экономических событий, вызванных опубликованием результатов тестов.

Элементы тестирования

Можно выделить несколько видов тестирования, типов вовлеченных в тесты сторон и этапов тестирования, которые анализируются в Рейтинге AIA (Рейтинг AIA, или АIА Rating, - периодически выпускаемые рейтинги тестов и разработчиков биометрии. Полное название: "Рейтинг биометрических тестов и разработчиков AIA", или "Biometric Tests and Vendors AIA Rating"). Выделяется ряд характерных особенностей каждого из элементов тестирования.

Тестирование технологий:

• сравнение конкурирующих алгоритмов одного вида биометрии;
• использование биометрических данных одной группы людей;
• применение единой тестовой базы данных;
• проведение не в режиме реального времени;
• наличие повторяемости результатов.

Тест сценариев:

• сравнение конкурирующих биометрических систем в смоделированном сценарии;
• использование биометрических данных одной группы людей;
• применение разных тестовых баз данных;
• проведение тестирования в реальном и не в реальном времени;
• повторяемость результатов при корректном воспроизведении сценария.

Операционный тест:

• оценка эффективности работы определенной инсталлированной биометрической системы;
• проведение в режиме реального времени;
• отсутствие повторяемости результатов.

В организации и проведении тестов биометрии обычно принимают участие пять сторон: тестовая лаборатория, участники, орган стандартизации, организатор и эксперты.

Процедура тестирования

Типовая процедура проведения тестирования обычно разделена на этапы подготовки, проверки, тестирования, выпуска результатов и последующих событий, порожденных результатами тестов. Этап подготовки включает в себя:

• сбор собственных и/или приобретение сторонних тестовых баз данных;
• привлечение экспертов;
• выбор тестовой лаборатории и заключение с ней договора;
• выбор органа стандартизации;
• разработка процедуры и методики тестирования;
• сообщение биометрическому сообществу о факте, процедуре и методике тестов;
• адаптация биометрических алгоритмов к контрольной базе данных;
• заключение договора с участником и окончательное предоставление последним биометрических продуктов в тестовую лабораторию.

Этап проверки подразумевает:

• проверку всех представленных программных или программно-аппаратных продуктов на соответствие требованиям методики тестирования;
• завершение этапа после успешного прохождения проверки всех продуктов или по окончании отведенного времени.

На этапе тестирования проводятся следующие мероприятия:

• проведение тестовой лабораторией тестирований преимущественно типа "тест технологий" и/или "тест сценариев";
• рассмотрение в качестве результатов широкого спектра параметров эффективности;
• обнаружение и анализ аномалий в результатах с последующим их исключением по результатам обсуждения с соответствующим участником тестов;
• завершение этапа после исключения всех аномалий или по окончании отведенного времени.

Этап выпуска результатов - это анализ, оформление и публикация результатов тестов как в обобщенном виде, так и для каждого участника отдельно.

Этап завершения теста включает в себя:

• возврат участникам тестов их биометрических продуктов обратно;
• уничтожение всех копий биометрических программных продуктов, установленных на компьютерах тестовой лаборатории, включая собранные биометрические базы данных, если возможность их использования не указана в договоре с участником тестов.

Этап событий, который продолжается вплоть до проведения следующего аналогичного тестирования, подразумевает:

• обновление биометрической технологии или продукта участником тестов по результатам его участия в тестировании - технологическое событие;
• достижение экономических эффектов участником тестов по результатам его участия в тестировании - экономическое событие.

Анализ тестов и сравнение разработчиков

В Рейтинге AIA проанализировано более 40 авторитетных тестов биометрии (которые сравниваются по уровню ряда описанных выше качественных параметров), а также изучено более 130 разработчиков биометрии, которые сопоставляются по частоте участия в тестах, территории ведения и типу бизнеса, количеству и типу событий на рынке биометрии, порожденных результатами тестов.

В первых изданиях Рейтинга AIA при сравнении разработчиков биометрии не учитываются технические результаты, продемонстрированные ими в различных тестах, поскольку в большинстве случаев они не могут корректно сопоставляться друг с другом в условиях отсутствия единых тестовых баз данных.

В последующих изданиях Рейтинга AIA будут учтены такие факторы, как:

• предельно достижимые параметры точности различных видов биометрии;
• новыетесты биометрии;
• новые события от предыдущих тестов биометрии;
• комментарии и корректировки, полученные от биометрического сообщества, включая организаторов и участников;
• результаты разработки и реализации программ тестирования AeA Tests;
• качество тестовых баз данных;
• сценарии тестов;
• приложения тестов;
• показатели эффективности.

По материалам Агентства AIA, DANCOM Group
www.dancom.ru

Опубликовано: Журнал "Системы безопасности" #4, 2007
Посещений: 12952

В рубрику "Системы контроля и управления доступом (СКУД)" | К списку рубрик  |  К списку авторов  |  К списку публикаций