Особенности нормативно-технического регулирования в области искусственного интеллекта

Сергей Гарбук, 08/11/23

Сегодня и в научных кругах, и в массмедиа много говорится о перспективах внедрения искусственного интеллекта в самые разные сферы жизни и деятельности человека, однако уровень его использования на данный момент не столь высок, как могло бы ожидаться. В данной статье рассматриваются проблемы и факторы, оказывающие негативное влияние на широкое внедрение искусственного интеллекта.

Ключевой проблемой, препятствующей эффективному внедрению систем искусственного интеллекта (ИИ) на практике, является недопустимо высокий уровень рисков, сопровождающих создание и применение этих систем. Основной причиной возникновения этих рисков, специфичной для систем ИИ, является отсутствие гарантий функциональной корректности интеллектуальных систем в реальных условиях эксплуатации. Устранению рисков способствует обоснование и закрепление в национальных стандартах представительного набора требований в области функциональной корректности, максимально полно учитывающего интересы и приоритеты различных заинтересованных сторон. Полученный таким образом набор требований может использоваться при проведении сертификационных испытаний систем искусственного интеллекта.

Риски внедрения искусственного интеллекта и их анализ

Одной из основных причин, препятствующих эффективному развитию технологий искусственного интеллекта (ИИ), является неприемлемо высокий уровень рисков, связанных с созданием и внедрением прикладных систем ИИ (СИИ) в различных отраслях экономики и социальной сферы. Эта проблема значительно обостряется, когда речь идет о применении СИИ для решения особо ответственных задач, в которых ошибки в работе систем приводят к тяжелым последствиям, связанным с риском для здоровья и жизни людей, серьезным экологическим и экономическим ущербом [1].

Целостный анализ рисков в области ИИ должен осуществляться с учетом того, что при создании и применении СИИ могут быть затронуты интересы различных заинтересованных сторон (англ. stakeholders), к которым относят разработчиков систем ИИ, потребителей систем ИИ, а также организации, ответственные за регулирование вопросов создания и применения систем ИИ (опционально) [2].

При этом основными источниками рисков являются:

нарушения в работе СИИ, связанные с их недостаточной технической надежностью;
реализация угроз информационной безопасности;
проблемы, связанные с зависимостью от импортных компонент СИИ;
недостаточная функциональная корректность СИИ.

Нормативные документы, регулирующие предупреждение рисков

Предупреждение рисков, вызванных реализацией угроз первых трех видов, осуществляется в рамках действующих организационных механизмов и не содержит существенных особенностей, специфичных именно для интеллектуальных систем. Так, обеспечение технической надежности осуществляется в соответствии с требованиями, изложенными в национальных стандартах серии ГОСТ Р 27.ХХХ "Надежность в технике", комплексе государственных военных стандартов (КГВС) "Мороз-7", "Климат-8" и других документах, и подтверждается в аккредитованных испытательных лабораториях.

Требования в области информационной безопасности автоматизированных систем, к которым относятся и СИИ, изложены в соответствующих национальных стандартах, а также руководящих документах государственных регуляторов в данной области – ФСБ и ФСТЭК России. Оценка СИИ на импортонезависимость осуществляется в рамках ведения реестра отечественного ПО [3] и реестра российской радиоэлектронной продукции [4].

Наименее проработанными являются вопросы оценки соответствия СИИ требованиям в области функциональной корректности, учитывающим такие особенности СИИ, как принципиально неполная интерпретируемость алгоритмов машинного обучения (МО), используемых в настоящее время в большинстве прикладных СИИ, их сложность и изменчивость в процессе эксплуатации, необходимость сопоставления функциональных возможностей систем с прикладными способностями человека-оператора и другие особенности [5].

Структура и классификация рисков и угроз

Структура рисков, обусловленных нарушением функциональной корректности, с учетом особенностей СИИ и в разрезе интересов и приоритетов различных заинтересованных сторон, представлена в табл. 1. Наиболее опасные угрозы и, соответственно, наиболее важные характеристики и требования связаны с обеспечением безопасности жизни и здоровья людей, а также с предотвращением крупных инцидентов экологической безопасности. Такие угрозы специфичны (п. 1 в табл. 1):

для СИИ повышенной опасности (беспилотный транспорт, промышленная робототехника, интеллектуальные АСУ ТП и др.), отличающихся тем, что их функционирование, даже при успешном выполнении задач по назначению, может привести к гибели людей или наступлению других тяжких последствий;
для СИИ, непосредственно предназначенных для решения задач обеспечения безопасности жизни и здоровья людей: медицинские системы ИИ, технические средства обеспечения безопасности, системы жизнеобеспечения, системы активной безопасности автомобилей и др.

Таблица 1. Приоритеты заинтересованных сторон в области предотвращения угроз, обусловленных несоответствием функциональных характеристик СИИ установленным требованиям

Предотвращение рисков и угроз

Для лиц, непосредственно участвующих и заинтересованных в создании и применении СИИ (далее – акторов ИИ, п. 1.1 в табл. 1), предотвращение такого рода угроз заключается в обеспечении собственной безопасности и выполнении минимального объема требований, установленных государственными регуляторами (расширение объема удовлетворяемых требований сверх минимально требуемого может привести к ухудшению основной функциональности, удорожанию и снижению конкурентоспособности СИИ). Принимая во внимание, что общество в целом и государственные регуляторы, призванные защищать интересы общества, заинтересованы в максимальном ужесточении требований безопасности (п. 1.2 в табл. 1), компромисс интересов акторов ИИ и третьих лиц обеспечивает разумный уровень физической и экологической безопасности систем.

Так или иначе, для систем повышенной опасности (п. 1 в табл. 1) необходимо иметь гарантии того, что уровень формируемых ими угроз не превышает уровень, демонстрируемый квалифицированными людьми-операторами, выполняющими соответствующие задачи управления и обработки данных в ручном режиме. Кроме того, при длительной эксплуатации и дообучении таких СИИ в однотипных, слабо изменяющихся условиях возникает риск статистического смещения дополненного обучающего НД и, как следствие, ошибок алгоритмов МО при предъявлении исходных данных, хотя и соответствующих ПУЭ, но отличающихся от вышеупомянутых однотипных условий эксплуатации. Это требует особого внимания к контролю характеристик (в данном случае – репрезентативности) дообучающих НД и качества СИИ при дообучении.

Особый вид требований связан с предотвращением угроз информационной безопасности (ИБ) в отношении заинтересованных лиц, вызванных нарушением функциональной корректности СИИ (п. 2 в табл. 1). Если в таких системах предполагается обработка персональных данных или некорректная работа систем может привести к реализации деструктивных информационно-психологических воздействий на общество (дезинформация, злонамеренное нарушение социальной стабильности), то в формировании требований ИБ к таким СИИ заинтересованы общество в целом и соответствующие государственные регуляторы (п. 2.2 в табл. 1).

Отметим, что особенностью СИИ является возможность возрастания уровня конфиденциальности данных при их обработке и агрегировании на стадии эксплуатации. Данное обстоятельство должно учитываться при формировании требований в области ИБ на стадиях проектирования и разработки систем. в обеспечении конфиденциальности информации во всех СИИ, в том числе не связанных с обработкой персональных и других социально чувствительных данных, в любом случае заинтересованы такие акторы ИИ, как поставщики данных и разработчики систем (уникальность наборов данных определяет их коммерческую ценность, а конфиденциальность данных – функциональность и устойчивость алгоритмов МО к воздействию возможных информационных атак) и органы по оценке соответствия СИИ (уровень конфиденциальности тестовых наборов данных определяет представительность результатов оценки функциональных характеристик, п. 2.1 в табл. 1).

Для многих прикладных СИИ специфичны угрозы этического характера и другие угрозы, предотвращение которых достигается реализацией мер так называемого мягкого права (п. 3 в табл. 1). К таким СИИ относятся, например, системы в кредитно-финансовой сфере и в области образования, поисково-справочные, маркетинговые и иные информационные системы, использующие методы персонализации на основе ИИ.

Общество, безусловно, заинтересовано в поддержании достаточного уровня социальной приемлемости при создании и применении таких систем (п. 3.2 в табл. 1). При этом интересы акторов ИИ могут вступать в противоречие с требованиями этичности, что в известной степени ограничивает участие акторов в формировании требований к СИИ в этой области.

Для СИИ, не предназначенных непосредственно для решения задач в области безопасности и не представляющих угрозы для жизни, здоровья людей и окружающей природной среды (п. 4 в табл. 1), отклонение функциональных характеристик от установленных требований ограничивается ухудшением потребительских свойств систем и может интерпретироваться как реализация угроз экономической безопасности акторов ИИ. В формировании требований и предотвращении соответствующих угроз в таком случае заинтересованы прежде всего разработчики, поставщики и потребители СИИ (п. 4.1 в табл. 1).

Приоритеты и требования заинтересованных сторон относительно рисков и угроз

Анализ приоритетов заинтересованных сторон в табл. 1 показывает, что часть из них связана с формированием требований к характеристикам, непосредственно присущим СИИ, а часть – к характеристикам процессов жизненного цикла (ЖЦ) систем. При этом практически все требования имеют соответствующую интерпретацию как непосредственно для СИИ, так и на уровне процессов ЖЦ систем, за исключением требований социальной приемлемости. Системы ИИ, как и любые другие технические системы, не имеют внутренне присущих им свойств в области этики, морали и др. – эти свойства характерны для процессов ЖЦ систем. Так, например, можно судить об этичности сбора данных при создании СИИ, этичности применения СИИ для решения той или иной прикладной задачи, этичности интерпретации и использования результатов обработки данных в СИИ и т.п.

При этом может оказаться, что неприемлемые социальные последствия применения СИИ обуславливаются точным и/или неполным пониманием эксплуатирующей стороной характеристик системы. Это, однако, не означает "неэтичность" системы как таковой, а связано именно с непониманием или игнорированием потребителем ее свойств. Такие же соображения относительно необходимости понимания потребителем характеристик СИИ справедливы и для всех остальных видов угроз и категорий заинтересованных сторон.

Важно отметить также, что для любых видов угроз и любых заинтересованных сторон степень соответствия требованиям непосредственно систем ИИ корректно рассматривать в контексте определенной прикладной задачи и в определенных (предусмотренных) условиях эксплуатации (ПУЭ). В то же время вопрос соответствия требованиям, предъявляемым к процессам ЖЦ СИИ, остается актуальным вне какого-либо контекста, описывающего назначение и условия применения СИИ, и обуславливается действующими нормами и правилами.

Таким образом, применительно к требованиям к СИИ целесообразно выделять две причины несоответствий:

низкое качество СИИ: несоответствие требованиям в области функциональной корректности при решении определенной прикладной задачи в ПУЭ, обусловленное низким качеством использованных обучающих НД, недостатками реализованных методов МО, нарушениями в работе органов по оценке соответствия и другими причинами, приводящими к утрате доверия к СИИ;
нарушение условий эксплуатации: применение СИИ за пределами ПУЭ и/или не по назначению, свидетельствующее о неосведомленности или некомпетентности эксплуатирующих лиц и не являющееся, строго говоря, объективным основанием для утраты доверия к СИИ. Тем не менее, учитывая широкий круг задач автоматизации, в том числе ранее являвшихся исключительной прерогативой человека, несоответствие СИИ требованиям, обусловленное нарушением условий эксплуатации, может привести к утрате доверия на потребительском уровне, что, без сомнения, негативно сказывается на развитии технологий ИИ в целом.

Требования к интеллектуальным системам, которые необходимо отобразить в нормативно-правовых актах

Устранение рисков создания и эксплуатации СИИ предполагает разработку и закрепление в комплексе национальных стандартов требований к интеллектуальным системам, обеспечивающих решение следующих задач, специфичных для области ИИ:

1. Обеспечение гарантий функциональной корректности и предсказуемости поведения СИИ в реальных условиях эксплуатации, в том числе при дообучении систем в процессе эксплуатации и при автоматизации процессов обработки информации, ранее выполнявшихся вручную, с использованием естественного интеллекта человека;

2. Разработка методов и средств оценки и подтверждения безопасности СИИ, в том числе в отношении третьих лиц (не участвующих непосредственно в эксплуатации систем), при их создании и применении, включая:

обеспечение физической безопасности СИИ для окружающих людей, природной среды и материальных активов (например, в случае беспилотного транспорта);
защиту данных, накапливаемых в СИИ в процессе их эксплуатации;
оценку уровня социальной приемлемости СИИ, в том числе этических последствий разработки и применения этих систем.

3. Обеспечение доступа широкого сообщества разработчиков к обучающим наборам данных (НД), в том числе содержащим конфиденциальную и иную информацию ограниченного распространения. Разработка методов и средств гарантированной "деклассификации" НД (необратимого удаления конфиденциальных сведений, включая персональные данные) с сохранением возможности их использования для создания СИИ.

Кроме того, документы по стандартизации в области ИИ направлены на решение общих задач нормативно-технического регулирования, таких как:

обеспечение терминологического единства;
унификация форматов представления данных, необходимых для создания и применения СИИ, обеспечение интероперабельности информационных систем;
фиксация вариантов использования и лучших практик создания и применения СИИ при решении различных прикладных задач в отраслях экономики и социальной сферы.

Рис. 1. Иерархическая организация объектов стандартизации на примере автомобильного транспорта: автотранспортная отрасль (уровень II), типовые объекты автоматизации (уровень III), функциональные подсистемы ТОА (уровень IV), прикладные алгоритмы ИИ (уровень V).

При разработке комплекса национальных стандартов в области ИИ целесообразно учитывать документы по стандартизации информационных технологий в целом, а также существующие и разрабатываемые отраслевые нормативно-технические документы. Это может быть обеспечено за счет использования иерархической модели объектов стандартизации, в соответствии с которой предусматриваются следующие уровни иерархии (продемонстрирована на рис. 1 на примере автотранспортной отрасли):

I. Комплекс национальных стандартов ИИ в целом.
II. Отрасль (отрасль экономики, область социальной сферы, вид вооружения, военной и специальной техники).
III. Типовые объекты автоматизации (ТОА) – сложные технические (организационно-технические) системы, отличающиеся высокой автономностью и предназначенные для решения комплексных отраслевых задач автоматизации. В состав ТОА помимо автоматизированных средств обработки данных могут входить также другие компоненты (например, электромеханические) и обслуживающий персонал.
IV. Функциональные подсистемы (ФП) с ИИ – автоматизированные системы в составе ТОА, обеспечивающие решение функционально целостных групп задач с использованием технологий ИИ. Под СИИ могут пониматься ТОА или ФП – в зависимости от их масштаба, уровня автономности и других особенностей реализации.
V. Частные интеллектуальные алгоритмы в составе ФП – алгоритмы машинного обучения, обеспечивающие решение конкретных задач распознавания образов, категорирования, восстановления зависимостей и других необходимых задач интеллектуальной обработки данных. Частные алгоритмы МО не подлежат дальнейшей декомпозиции и представляют собой самостоятельные объекты оценки соответствия требованиям. При этом в состав функциональных подсистем помимо алгоритмов МО могут входить также другие алгоритмы обработки данных, в которых методы ИИ не используются.

При формировании структуры комплекса национальных стандартов особое внимание уделяется агрегированию документов и по возможности максимальному повышению их уровня (наиболее высокий уровень – I), что обеспечивает сокращение общего числа документов в комплексе стандартов с сохранением требуемого уровня результативности нормативно-технического регулирования.

Таблица 2. Распределение стандартов различного назначения по иерархическим уровням комплекса национальных стандартов ИИ

Распределение стандартов различного назначения по иерархическим уровням, выполненное с учетом этого требования, представлено в табл. 2. В частности, стандарты, описывающие функциональные характеристики, существенные факторы эксплуатации (СФЭ, показатели внешней среды, описывающие вариативность сценариев применения алгоритмов ИИ) и демонстрационные НД для отдельных алгоритмов целесообразно объединять в сборники по отраслевому принципу, что позволяет избежать избыточного числа стандартов, в значительной мере дублирующих друг друга.

В предложенной иерархической модели предполагается, что характеристики каждого объекта на трех нижних иерархических уровнях (ТОА, ФП и алгоритм МО) могут быть подтверждены независимо, что позволяет:

проводить тестирование отдельных алгоритмов МО, используя в дальнейшем полученные результаты при проведении комплексных испытаний СИИ;
существенно сократить размерность пространства возможных значений СФЭ при проведении тестирования алгоритмов МО и тем самым сократить продолжительность и стоимость проведения испытаний.

Разработка комплекса национальных стандартов в области ИИ осуществляется в соответствии с Перспективной программой стандартизации по приоритетному высокотехнологичному направлению "Искусственный интеллект" на 2021–2024 годы [6]. Первый вариант Программы был утвержден Минэкономразвития России и Росстандартом в конце 2020 г., в настоящее время осуществляется ее актуализация, в том числе с учетом обновления национальной стратегии в области искусственного интеллекта.
Ожидается, что разработка и ввод в действие стандартов ИИ будет в значительной мере способствовать преодолению нормативно-технических барьеров, связанных с высокими рисками создания и применения интеллектуальных систем и препятствующих динамичному развитию отрасли искусственного интеллекта.

Заключение

Таким образом, анализ рисков создания и применения систем ИИ должен осуществляться с учетом интересов и приоритетов различных заинтересованных сторон, с учетом особенностей создания и применения интеллектуальных систем. Наименее изученным является вопрос подтверждения функциональной корректности СИИ. Обеспечение требуемого уровня функциональной корректности предполагает разработку специального комплекса стандартов, фиксирующих требования к системам ИИ. При этом должны учитываться требования как непосредственно к системам, так и к процессам их жизненного цикла. Формирование комплекса стандартов ИИ, не дублирующих и не вступающих в противоречие с общими стандартами в области информационных технологий и отраслевыми стандартами, достигается за счет функциональной декомпозиции СИИ на основе предложенной иерархической модели с последующим закреплением требований по тестированию отдельных функциональных компонентов систем.

Список литературы

ISO/IEC TR 24028:2020. Overview of trustworthiness in artificial intelligence.
ГОСТ Р 59276–2020 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения. М.: Стандартинформ, 2020.
Постановление Правительства Российской Федерации от 16 ноября 2015 г. № 1236 "Об установлении запрета на допуск программного обеспечения, происходящего из иностранных государств, для целей осуществления закупок для обеспечения государственных и муниципальных нужд".
Постановление Правительства Российской Федерации от 10 июля 2019 г. № 878 "О мерах стимулирования производства радиоэлектронной продукции на территории Российской Федерации при осуществлении закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд, о внесении изменений в постановление Правительства Российской Федерации от 16 сентября 2016 г. № 925 и признании утратившими силу некоторых актов Правительства Российской Федерации".
Гарбук С.В., Шалаев А.П. Перспективная структура национальных стандартов в области искусственного интеллекта // Стандарты и качество. 2021. № 10. С. 26–33.
Перспективная программа стандартизации по приоритетному высокотехнологичному направлению "Искусственный интеллект" на 2021– 2024 годы. Утверждена 20 декабря 2020 г. Интернет-ресурс www.tc164.ru. Дата обращения: 20.09.2023.