Сегодня и в научных кругах, и в массмедиа много говорится о перспективах внедрения искусственного интеллекта в самые разные сферы жизни и деятельности человека, однако уровень его использования на данный момент не столь высок, как могло бы ожидаться. В данной статье рассматриваются проблемы и факторы, оказывающие негативное влияние на широкое внедрение искусственного интеллекта.
Ключевой проблемой, препятствующей эффективному внедрению систем искусственного интеллекта (ИИ) на практике, является недопустимо высокий уровень рисков, сопровождающих создание и применение этих систем. Основной причиной возникновения этих рисков, специфичной для систем ИИ, является отсутствие гарантий функциональной корректности интеллектуальных систем в реальных условиях эксплуатации. Устранению рисков способствует обоснование и закрепление в национальных стандартах представительного набора требований в области функциональной корректности, максимально полно учитывающего интересы и приоритеты различных заинтересованных сторон. Полученный таким образом набор требований может использоваться при проведении сертификационных испытаний систем искусственного интеллекта.
Одной из основных причин, препятствующих эффективному развитию технологий искусственного интеллекта (ИИ), является неприемлемо высокий уровень рисков, связанных с созданием и внедрением прикладных систем ИИ (СИИ) в различных отраслях экономики и социальной сферы. Эта проблема значительно обостряется, когда речь идет о применении СИИ для решения особо ответственных задач, в которых ошибки в работе систем приводят к тяжелым последствиям, связанным с риском для здоровья и жизни людей, серьезным экологическим и экономическим ущербом [1].
Целостный анализ рисков в области ИИ должен осуществляться с учетом того, что при создании и применении СИИ могут быть затронуты интересы различных заинтересованных сторон (англ. stakeholders), к которым относят разработчиков систем ИИ, потребителей систем ИИ, а также организации, ответственные за регулирование вопросов создания и применения систем ИИ (опционально) [2].
При этом основными источниками рисков являются:
Предупреждение рисков, вызванных реализацией угроз первых трех видов, осуществляется в рамках действующих организационных механизмов и не содержит существенных особенностей, специфичных именно для интеллектуальных систем. Так, обеспечение технической надежности осуществляется в соответствии с требованиями, изложенными в национальных стандартах серии ГОСТ Р 27.ХХХ "Надежность в технике", комплексе государственных военных стандартов (КГВС) "Мороз-7", "Климат-8" и других документах, и подтверждается в аккредитованных испытательных лабораториях.
Требования в области информационной безопасности автоматизированных систем, к которым относятся и СИИ, изложены в соответствующих национальных стандартах, а также руководящих документах государственных регуляторов в данной области – ФСБ и ФСТЭК России. Оценка СИИ на импортонезависимость осуществляется в рамках ведения реестра отечественного ПО [3] и реестра российской радиоэлектронной продукции [4].
Наименее проработанными являются вопросы оценки соответствия СИИ требованиям в области функциональной корректности, учитывающим такие особенности СИИ, как принципиально неполная интерпретируемость алгоритмов машинного обучения (МО), используемых в настоящее время в большинстве прикладных СИИ, их сложность и изменчивость в процессе эксплуатации, необходимость сопоставления функциональных возможностей систем с прикладными способностями человека-оператора и другие особенности [5].
Структура рисков, обусловленных нарушением функциональной корректности, с учетом особенностей СИИ и в разрезе интересов и приоритетов различных заинтересованных сторон, представлена в табл. 1. Наиболее опасные угрозы и, соответственно, наиболее важные характеристики и требования связаны с обеспечением безопасности жизни и здоровья людей, а также с предотвращением крупных инцидентов экологической безопасности. Такие угрозы специфичны (п. 1 в табл. 1):
Таблица 1. Приоритеты заинтересованных сторон в области предотвращения угроз, обусловленных несоответствием функциональных характеристик СИИ установленным требованиям
Для лиц, непосредственно участвующих и заинтересованных в создании и применении СИИ (далее – акторов ИИ, п. 1.1 в табл. 1), предотвращение такого рода угроз заключается в обеспечении собственной безопасности и выполнении минимального объема требований, установленных государственными регуляторами (расширение объема удовлетворяемых требований сверх минимально требуемого может привести к ухудшению основной функциональности, удорожанию и снижению конкурентоспособности СИИ). Принимая во внимание, что общество в целом и государственные регуляторы, призванные защищать интересы общества, заинтересованы в максимальном ужесточении требований безопасности (п. 1.2 в табл. 1), компромисс интересов акторов ИИ и третьих лиц обеспечивает разумный уровень физической и экологической безопасности систем.
Так или иначе, для систем повышенной опасности (п. 1 в табл. 1) необходимо иметь гарантии того, что уровень формируемых ими угроз не превышает уровень, демонстрируемый квалифицированными людьми-операторами, выполняющими соответствующие задачи управления и обработки данных в ручном режиме. Кроме того, при длительной эксплуатации и дообучении таких СИИ в однотипных, слабо изменяющихся условиях возникает риск статистического смещения дополненного обучающего НД и, как следствие, ошибок алгоритмов МО при предъявлении исходных данных, хотя и соответствующих ПУЭ, но отличающихся от вышеупомянутых однотипных условий эксплуатации. Это требует особого внимания к контролю характеристик (в данном случае – репрезентативности) дообучающих НД и качества СИИ при дообучении.
Особый вид требований связан с предотвращением угроз информационной безопасности (ИБ) в отношении заинтересованных лиц, вызванных нарушением функциональной корректности СИИ (п. 2 в табл. 1). Если в таких системах предполагается обработка персональных данных или некорректная работа систем может привести к реализации деструктивных информационно-психологических воздействий на общество (дезинформация, злонамеренное нарушение социальной стабильности), то в формировании требований ИБ к таким СИИ заинтересованы общество в целом и соответствующие государственные регуляторы (п. 2.2 в табл. 1).
Отметим, что особенностью СИИ является возможность возрастания уровня конфиденциальности данных при их обработке и агрегировании на стадии эксплуатации. Данное обстоятельство должно учитываться при формировании требований в области ИБ на стадиях проектирования и разработки систем. в обеспечении конфиденциальности информации во всех СИИ, в том числе не связанных с обработкой персональных и других социально чувствительных данных, в любом случае заинтересованы такие акторы ИИ, как поставщики данных и разработчики систем (уникальность наборов данных определяет их коммерческую ценность, а конфиденциальность данных – функциональность и устойчивость алгоритмов МО к воздействию возможных информационных атак) и органы по оценке соответствия СИИ (уровень конфиденциальности тестовых наборов данных определяет представительность результатов оценки функциональных характеристик, п. 2.1 в табл. 1).
Для многих прикладных СИИ специфичны угрозы этического характера и другие угрозы, предотвращение которых достигается реализацией мер так называемого мягкого права (п. 3 в табл. 1). К таким СИИ относятся, например, системы в кредитно-финансовой сфере и в области образования, поисково-справочные, маркетинговые и иные информационные системы, использующие методы персонализации на основе ИИ.
Общество, безусловно, заинтересовано в поддержании достаточного уровня социальной приемлемости при создании и применении таких систем (п. 3.2 в табл. 1). При этом интересы акторов ИИ могут вступать в противоречие с требованиями этичности, что в известной степени ограничивает участие акторов в формировании требований к СИИ в этой области.
Для СИИ, не предназначенных непосредственно для решения задач в области безопасности и не представляющих угрозы для жизни, здоровья людей и окружающей природной среды (п. 4 в табл. 1), отклонение функциональных характеристик от установленных требований ограничивается ухудшением потребительских свойств систем и может интерпретироваться как реализация угроз экономической безопасности акторов ИИ. В формировании требований и предотвращении соответствующих угроз в таком случае заинтересованы прежде всего разработчики, поставщики и потребители СИИ (п. 4.1 в табл. 1).
Анализ приоритетов заинтересованных сторон в табл. 1 показывает, что часть из них связана с формированием требований к характеристикам, непосредственно присущим СИИ, а часть – к характеристикам процессов жизненного цикла (ЖЦ) систем. При этом практически все требования имеют соответствующую интерпретацию как непосредственно для СИИ, так и на уровне процессов ЖЦ систем, за исключением требований социальной приемлемости. Системы ИИ, как и любые другие технические системы, не имеют внутренне присущих им свойств в области этики, морали и др. – эти свойства характерны для процессов ЖЦ систем. Так, например, можно судить об этичности сбора данных при создании СИИ, этичности применения СИИ для решения той или иной прикладной задачи, этичности интерпретации и использования результатов обработки данных в СИИ и т.п.
При этом может оказаться, что неприемлемые социальные последствия применения СИИ обуславливаются точным и/или неполным пониманием эксплуатирующей стороной характеристик системы. Это, однако, не означает "неэтичность" системы как таковой, а связано именно с непониманием или игнорированием потребителем ее свойств. Такие же соображения относительно необходимости понимания потребителем характеристик СИИ справедливы и для всех остальных видов угроз и категорий заинтересованных сторон.
Важно отметить также, что для любых видов угроз и любых заинтересованных сторон степень соответствия требованиям непосредственно систем ИИ корректно рассматривать в контексте определенной прикладной задачи и в определенных (предусмотренных) условиях эксплуатации (ПУЭ). В то же время вопрос соответствия требованиям, предъявляемым к процессам ЖЦ СИИ, остается актуальным вне какого-либо контекста, описывающего назначение и условия применения СИИ, и обуславливается действующими нормами и правилами.
Таким образом, применительно к требованиям к СИИ целесообразно выделять две причины несоответствий:
Устранение рисков создания и эксплуатации СИИ предполагает разработку и закрепление в комплексе национальных стандартов требований к интеллектуальным системам, обеспечивающих решение следующих задач, специфичных для области ИИ:
1. Обеспечение гарантий функциональной корректности и предсказуемости поведения СИИ в реальных условиях эксплуатации, в том числе при дообучении систем в процессе эксплуатации и при автоматизации процессов обработки информации, ранее выполнявшихся вручную, с использованием естественного интеллекта человека;
2. Разработка методов и средств оценки и подтверждения безопасности СИИ, в том числе в отношении третьих лиц (не участвующих непосредственно в эксплуатации систем), при их создании и применении, включая:
3. Обеспечение доступа широкого сообщества разработчиков к обучающим наборам данных (НД), в том числе содержащим конфиденциальную и иную информацию ограниченного распространения. Разработка методов и средств гарантированной "деклассификации" НД (необратимого удаления конфиденциальных сведений, включая персональные данные) с сохранением возможности их использования для создания СИИ.
Кроме того, документы по стандартизации в области ИИ направлены на решение общих задач нормативно-технического регулирования, таких как:
При разработке комплекса национальных стандартов в области ИИ целесообразно учитывать документы по стандартизации информационных технологий в целом, а также существующие и разрабатываемые отраслевые нормативно-технические документы. Это может быть обеспечено за счет использования иерархической модели объектов стандартизации, в соответствии с которой предусматриваются следующие уровни иерархии (продемонстрирована на рис. 1 на примере автотранспортной отрасли):
I. Комплекс национальных стандартов ИИ в целом.
II. Отрасль (отрасль экономики, область социальной сферы, вид вооружения, военной и специальной техники).
III. Типовые объекты автоматизации (ТОА) – сложные технические (организационно-технические) системы, отличающиеся высокой автономностью и предназначенные для решения комплексных отраслевых задач автоматизации. В состав ТОА помимо автоматизированных средств обработки данных могут входить также другие компоненты (например, электромеханические) и обслуживающий персонал.
IV. Функциональные подсистемы (ФП) с ИИ – автоматизированные системы в составе ТОА, обеспечивающие решение функционально целостных групп задач с использованием технологий ИИ. Под СИИ могут пониматься ТОА или ФП – в зависимости от их масштаба, уровня автономности и других особенностей реализации.
V. Частные интеллектуальные алгоритмы в составе ФП – алгоритмы машинного обучения, обеспечивающие решение конкретных задач распознавания образов, категорирования, восстановления зависимостей и других необходимых задач интеллектуальной обработки данных. Частные алгоритмы МО не подлежат дальнейшей декомпозиции и представляют собой самостоятельные объекты оценки соответствия требованиям. При этом в состав функциональных подсистем помимо алгоритмов МО могут входить также другие алгоритмы обработки данных, в которых методы ИИ не используются.
При формировании структуры комплекса национальных стандартов особое внимание уделяется агрегированию документов и по возможности максимальному повышению их уровня (наиболее высокий уровень – I), что обеспечивает сокращение общего числа документов в комплексе стандартов с сохранением требуемого уровня результативности нормативно-технического регулирования.
Таблица 2. Распределение стандартов различного назначения по иерархическим уровням комплекса национальных стандартов ИИ
Распределение стандартов различного назначения по иерархическим уровням, выполненное с учетом этого требования, представлено в табл. 2. В частности, стандарты, описывающие функциональные характеристики, существенные факторы эксплуатации (СФЭ, показатели внешней среды, описывающие вариативность сценариев применения алгоритмов ИИ) и демонстрационные НД для отдельных алгоритмов целесообразно объединять в сборники по отраслевому принципу, что позволяет избежать избыточного числа стандартов, в значительной мере дублирующих друг друга.
В предложенной иерархической модели предполагается, что характеристики каждого объекта на трех нижних иерархических уровнях (ТОА, ФП и алгоритм МО) могут быть подтверждены независимо, что позволяет:
Разработка комплекса национальных стандартов в области ИИ осуществляется в соответствии с Перспективной программой стандартизации по приоритетному высокотехнологичному направлению "Искусственный интеллект" на 2021–2024 годы [6]. Первый вариант Программы был утвержден Минэкономразвития России и Росстандартом в конце 2020 г., в настоящее время осуществляется ее актуализация, в том числе с учетом обновления национальной стратегии в области искусственного интеллекта.
Ожидается, что разработка и ввод в действие стандартов ИИ будет в значительной мере способствовать преодолению нормативно-технических барьеров, связанных с высокими рисками создания и применения интеллектуальных систем и препятствующих динамичному развитию отрасли искусственного интеллекта.
Таким образом, анализ рисков создания и применения систем ИИ должен осуществляться с учетом интересов и приоритетов различных заинтересованных сторон, с учетом особенностей создания и применения интеллектуальных систем. Наименее изученным является вопрос подтверждения функциональной корректности СИИ. Обеспечение требуемого уровня функциональной корректности предполагает разработку специального комплекса стандартов, фиксирующих требования к системам ИИ. При этом должны учитываться требования как непосредственно к системам, так и к процессам их жизненного цикла. Формирование комплекса стандартов ИИ, не дублирующих и не вступающих в противоречие с общими стандартами в области информационных технологий и отраслевыми стандартами, достигается за счет функциональной декомпозиции СИИ на основе предложенной иерархической модели с последующим закреплением требований по тестированию отдельных функциональных компонентов систем.
Опубликовано в журнале "Системы безопасности" № 5/2023
Все статьи журнала "Системы безопасности"
доступны для скачивания в iMag >>
Фото: ru.freepik.com