Будущее искусственного интеллекта в сфере безопасности

По итогам заседания Совета при Президенте РФ по стратегическому развитию и национальным проектам, состоявшегося 18.07.2022 г. в рамках реализации перечня поручений президента РФ, разработана Концепция технологического развития, утвержденная распоряжением Правительства РФ от 20.05.2023 г. № 1315-р "Об утверждении Концепции технологического развития на период до 2030 г." (далее – Концепция технологического развития).

Принятая Концепция определяет вызовы, принципы и цели технологического развития, приоритетные стратегические направления деятельности с учетом ограничений и рисков, связанных с санкционным давлением.

В соответствии с п. 3 раздела V Концепции технологического развития для целеполагания, мониторинга и проведения экспертизы научных исследований в интересах технологического развития в системе ФГБУ РАН формируются научные советы по приоритетным направлениям критических¹ и сквозных² технологий. Один из них, для совершенствования деятельности в сфере безопасности, создается на базе комиссии РАН по техногенной безопасности.

В основе – стратегические национальные приоритеты

В своей деятельности Совет руководствуется федеральными законами от 28.12.2010 г. № 390-ФЗ "О безопасности" и от 28.06.2014 г. № 172-ФЗ "О стратегическом планировании в РФ", а также ст. 26 Указа Президента РФ от 02.07.2021 г. № 400 "О Стратегии национальной безопасности РФ", в соответствии с которым: "Обеспечение и защита национальных интересов РФ осуществляются за счет концентрации усилий и ресурсов органов публичной власти, организаций и институтов гражданского общества на реализации следующих стратегических национальных приоритетов:

• сбережение народа России и развитие человеческого потенциала;
• оборона страны;
• государственная и общественная безопасность;
• информационная безопасность;
• экономическая безопасность;
• научно-технологическое развитие;
• экологическая безопасность и рациональное природопользование;
• защита традиционных российских духовно-нравственных ценностей, культуры и исторической памяти;
• стратегическая стабильность и взаимовыгодное международное сотрудничество".

Анализ этих девяти стратегических национальных приоритетов РФ позволяет в соответствии с разделом XI "Управление технологическим развитием (функциональная модель)" Концепции технологического развития наметить следующее основное направление деятельности комиссии РАН по техногенной безопасности: обеспечение достижения цели технологического развития на основе интеграции управления научно-исследовательской и производственно-технологической деятельностью.

Функции системы управления разделяются на:

• стратегическое управление;
• операционное управление (исполнение);
• мониторинг и контроль.

Стратегическое управление

Стратегическое управление предусматривает:

• общее целеполагание научно-технологического развития в рамках Стратегии научно-технологического развития РФ, утвержденной Указом Президента РФ от 01.122016 г. № 642 "О Стратегии научно-технологического развития РФ", в увязке с национальными целями развития;
• определение технологических приоритетов;
• определение основных направлений международного научно-технического взаимодействия.

Операционное управление

Операционное управление предусматривает механизмы и инструменты технологического развития, функциональные инструменты управления, которые реализуются в рамках:

• государственных программ научно-технологического и экономического развития, инновационной и цифровой экономики, институтов развития;
• отраслевых государственных и корпоративных программ и проектов, включающих научно-технологические разделы;
• проектов и программ структурного развития – сквозных технологий, проектов-маяков, передовых инженерных школ;
• управления нормативно-справочной информацией (определение перечней критических и сквозных технологий, формирование справочников наилучших доступных технологий).

Мониторинг и контроль

Мониторинг и контроль предусматривают:

• мониторинг уровня развития технологий и производства высокотехнологичной продукции по критическим и сквозным технологиям;
• научно-техническую экспертизу и оценку результатов в сфере исследований и разработок.

Решение этой многоцелевой задачи должно производиться с учетом возникающих и развивающихся неопределенностей, новых поворотов в проблеме обеспечения безопасности в условиях воздействия природных и техногенных факторов, военных и террористических угроз.

Особенности проведения модернизации в условиях повышенных рисков

В настоящее время в условиях взрывного повышения уровня рисков и угроз на первый план выходит обеспечение безопасного функционирования стратегически и критически важных объектов (СВО и КВО), которые проявляют себя самым неожиданным образом. В условиях введения президентом России на отдельных территориях особых режимов безопасности из-за высокого уровня различных рисков и угроз производится трансформация безопасности как объекта их воздействия.

Часто СВО и КВО начинают функционировать в сильно поврежденных состояниях, когда в условиях дефицита времени одновременно с выведением из нештатного состояния должна осуществляться их модернизация. Проведение мобилизации и в то же время модернизации с высокой степенью обновления требует кардинального изменения порядка принятия проектных решений, мер обеспечения защиты объектов и координации работы. Это также требует внедрения методов управления запроектными авариями, изменениями качества и культуры безопасности.

Обеспечение безопасности в условиях деструктивного воздействия природных и техногенных факторов, военных и террористических угроз должно производиться на основе анализа рисков и выработки превентивного подхода к управлению рисками, адаптированного применительно к специфическим характеристикам защищаемых объектов. Управление рисками в данном случае – это тип стратегии управления процессами подготовки и принятия решений.
Такая стратегия направлена на выявление, понимание и выработку проектных решений и мер защиты для подготовки защищаемого объекта к видам угроз, опасностей и других потенциальных отклонений от штатных ситуаций и стандартных операционных процедур, которые могут быть восприняты как риски. Подход помогает предупреждать риски и управлять ими, а также совершенствовать мероприятия и проектные решения, направленные на обеспечение защиты объекта от деструктивного воздействия природных и техногенных факторов, угроз террористического характера и несанкционированного вторжения.

Существующая парадигма обеспечения безопасности и антитеррористической защищенности, основанная на управлении рисками, еще обеспечивает приемлемый уровень рисков от отдельных видов угроз (но не для множественных угроз в условиях гибридной войны), однако близка к исчерпанию своих возможностей и требует своего развития и модернизации.

От управления рисками к управлению стойкостью

В условиях военных и террористических угроз необходимо развитие и расширение парадигмы "управление рисками", эволюционный переход к парадигме "управление стойкостью", при одновременном сохранении достоинств действующей концепции.

Стойкость систем – это присущая им способность целенаправленно:

• сопротивляться (поддерживать функции, структуру и управление) действию неустановленных множественных (комбинированных) опасных воздействий;
• абсорбировать (амортизировать) последствия кратковременного воздействия опасных факторов;
• адаптироваться (путем развития за счет внутренних ресурсов или помощи извне) во время деструктивных воздействий, восстанавливаться после них с контролируемым изменением основной функциональности.

Стойкость систем – это недооцененный пока ресурс, который необходимо активно, целенаправленно и скоординированным образом использовать для дальнейшего развития обеспечения безопасности в стране в условиях гибридной войны.

Если рассматривать такую характеристику стойкости систем, как время достижения предельного состояния, то его увеличение способствует уменьшению риска развития критического состояния. Разработка парадигмы "управление стойкостью" нужна не для замены, а для дополнения и расширения подхода "управление рисками", с более полным учетом организационных, экономических реалий и уязвимостей систем высокой ответственности.

Шаги, которые будут способствовать обеспечению стойкости систем, с использованием данного подхода:

1. Наделение систем внутренним ресурсом, позволяющим противостоять внешним дестабилизирующим воздействиям с помощью резервирования, что в условиях ограниченности финансового обеспечения не представляется возможным реализовать, так как нельзя продублировать все элементы системы при их попадании под внешнее деструктивное воздействие в условиях гибридной войны. Требуется изучить реакцию систем на внешнее воздействие, найти их наиболее уязвимые места, которые рекомендовать для резервирования. Для этого важно подобрать метод формального представления систем, внешнего воздействия и определить динамику распространения внешнего влияния по системам.
2. Изменение структуры систем, позволяющее повышать их стойкость, "убирая" из структуры наиболее опасные и уязвимые взаимосвязи. 

Второй подход с использованием моделей систем в виде графов является новым направлением теории управления сложными системами – структурное управление.

Особенности инвестирования в системы защиты объектов

Для оптимизации процесса инвестирования в системы защиты объектов в условиях неопределенности воздействия различных природных, техногенных, военных и террористических угроз необходимо применять портфельное инвестирование с использованием теории ожидаемой полезности и симплекс метода для выбора комплекса проектных решений и мер обеспечения безопасности.

В зависимости от степени вероятности угрозы разделяются на потенциальные, непосредственные, прямые.

Опасность создается:

• потенциальными угрозами – как совокупностью вероятных условий и факторов;
• непосредственными угрозами, включающими в себя совокупность конкретных условий и факторов;
• прямыми угрозами, содержащими совокупность конкретных условий и факторов, уже создавших опасность.

Применительно к каждому уровню вероятности угроз выбирается риск-профиль целевого сочетания инвестирования проектных решений и мер по защите объекта:

• при потенциальных угрозах – консервативное, при стремлении к минимизации затрат на защиту объекта при изменении видов угроз;
• при непосредственных угрозах – сбалансированное, при стремлении к росту уровня защиты объекта и способности выдержать умеренные вложения при изменении видов угроз;
• при прямых угрозах – агрессивное, при стремлении к активному противодействию и способности перенести значительные вложения при изменении видов угроз.

Такой метод, основанный на теории ожидаемой полезности, позволяет принимать обоснованные и оптимальные решения по инвестированию в безопасность при заданной вероятности риска.

Сложности противостояния методам когнитивной войны

Даже при наличии эффективных методов для разработки решений в сфере безопасности необходимо учитывать, что в течение последних 30 лет, а особенно в условиях когнитивной войны³, недружественные страны стараются оказать максимальное влияние на методологию принятия решений в РФ в ее когнитивной части.

В результате возникают и развиваются когнитивные искажения – шаблоны и ошибки в мышлении и восприятии окружающей среды. Они появляются у любого человека из его предыдущего опыта и различных жизненных ситуаций, в результате воспитания и жизни в обществе.

Набор готовых шаблонных реакций часто позволяет быстрее принимать решения и тратить меньше сил, не задумываясь лишний раз. Но это одновременно и вредно, так как мешает мыслить гибко и адаптироваться к меняющимся условиям, не позволяет рассматривать решения, более адаптивные к данной ситуации, зацикливая мышление на одной мысли или суждении.

Виды и особенности когнитивных искажений

Существуют четыре категории когнитивных искажений: эгоцентризм, обвинение других, сведение к минимуму с неправильной маркировкой, предположение худшего. Такие категории автоматического мышления следует отличать от логических заблуждений. Искажения в форме предубеждения влияют на формирование убеждений, процессы рассуждения в процессе разработки проектных решений и мер обеспечения безопасности.

Работа по внедрению когнитивных искажений целенаправленно, но незаметно ведется недружественными странами через специальную литературу с целью усиления органических недостатков процесса мышления, когнитивных искажений, свойственных человеку в процессе сложившегося поведения. Такие искажения частично связаны с вероятностями, которые учитываются при анализе рисков, но также и со стереотипами убеждений, систематическими ошибками в мышлении или шаблонными отклонениями (так называемыми закладками), внедренными извне в когнитивные схемы процесса принятия решений. Анализ показывает, что специфика человека в условиях высокого уровня рисков и угроз состоит в повышении вероятности когнитивных искажений, влияющих на способность оценивать риски, особенно будущие. Это происходит, когда принимающий решения человек:

• не экстраполирует опыт малых опасностей на серьезные риски – опыт малых опасностей задает верхнюю границу ожидаемого максимального риска;
• с трудом оценивает редкие, но масштабные события;
• ошибочно инвестирует суженный сценарий возможных рисков;
• предпочитает подтверждающие, а не опровергающие доказательства;
• использует эмоциональную окраску при оценке будущих угроз, о которых мало информации;
• не способен масштабировать эмоции и восприятие, поэтому не готов тратить ресурсы пропорционально количеству потенциальных жертв;
• сверхуверен в себе, при оценке рисков сужает границы и не пересматривает их, опираясь в дальнейшем на неверные предпосылки.

Не психология, а война

Это основные когнитивные искажения, а одно из наиболее явных и опасных когнитивных искажений, свойственных эффективным менеджерам без технического образования, основано на эффекте Даннинга-Крюгера, когда такой "специалист" из-за общего отсутствия квалификации не способен осознать переоценку своих сил в области, в которой он не квалифицирован.

Такие когнитивные искажения оказались очень эффективным инструментом развала экономики РФ. Преодоление западных деструктивных "закладок", в том числе идеологизированных, в принятых в 90-х гг. методологии принятия решений и нормативных документах, направлено на устранение когнитивных искажений в процессе проектирования, но также исключительно важно для построения новой эффективной системы образования. Борьба с когнитивными искажениями в литературе рассматривается довольно подробно, но сводится к решению личных психологических проблем человека, без привязки к многолетнему деструктивному гибридному воздействию недружественных стран на мозг россиянина. В результате все сводится к решению личных проблем: о них стараются помнить и распознавать, а особенно сильно мешающие оспаривать с помощью критики неадаптивных мыслей. В результате главной задачей является не поиск оптимального решения, а пассивный уход от негативных мыслей и новостей.

Коррекция когнитивных искажений в проектных решениях

В противоположность такому индивидуалистичному подходу для когнитивной реструктуризации при разработке проектных решений и мер обеспечения безопасности должны использоваться способы мышления, альтернативные когнитивным искажениям. Они могут быть основой для разработки методов коррекции когнитивных искажений при разработке решений систем комплексной общественной безопасности.

Когнитивная реструктуризация, или оспаривание содержания негативных автоматических мыслей, разработка и применение методов коррекции когнитивных искажений наряду с управлением рисками как технической основой, является психологической основой принятия решений в сфере национальной безопасности РФ.

Таблица 1. Альтернативные способы мышления

Проблемы и шаги по реализации новых национальных приоритетов

В своей работе комиссия РАН по техногенной безопасности широко опирается на достижения информационно-технологической отрасли знаний, создающие условия для формирования новых направлений развития девяти стратегических национальных приоритетов РФ, дающих толчок развитию нового класса решений и методов. Однако в настоящее время в сфере развития стратегических национальных приоритетов возникает проблема, связанная с невозможностью получения полной и достоверной информации обо всех параметрах их функционирования, что приводит к неопределенности при решении управленческих задач.

Сбор информации

Перед комиссией РАН по техногенной безопасности в связи с этим возникает проблема такая же, как и в любой структуре управления, где местом интеграции информационных потоков, концентрации интеллектуальных усилий специалистов, использования аналитических средств поддержки принятия решений становятся ситуационные центры. Изучение их опыта показывает, что их потенциал не востребован и используются только результаты анализа, основанного на ретроспективной оценке информации. Кроме того, бессистемный сбор сведений приводит к избытку данных при нехватке требующихся для оценки обстановки и выработки решений.

Такой подход к прогнозированию обстановки применим только для стабильных условий функционирования управляемых систем за короткое время. В современных условиях военных и террористических угроз, невнятной динамики и резких колебаний множества показателей интервал прогноза сжимается до отсутствия самого содержания слова "прогноз".
Поэтому приходится оперировать малодостоверной картиной ожиданий и ориентироваться исключительно на опыт и интуицию при их оценке.

Необходимость принятия стратегии развития искусственного интеллекта

Уровень аналитического обеспечения не отвечает задачам сегодняшнего дня, и нужен качественный рывок в сфере поддержки управленческих решений при реализации стратегических национальных приоритетов. Для этих целей необходимо обеспечить реализацию Национальной стратегии развития искусственного интеллекта на период до 2030 г. согласно Указу Президента РФ от 10.10.2019 г. № 490 "О развитии искусственного интеллекта в РФ" совместно с технологиями когнитивного моделирования.

Их четкая взаимосвязь видна из самого определения искусственного интеллекта: "…комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека.

Такой комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе с использованием методов машинного обучения), процессы и сервисы по обработке данных и поиску решений.

Необходимость ускоренного внедрения решений, разработанных на основе искусственного интеллекта, обусловлена общим ("сквозным") характером применения таких прикладных технологических решений, что способствует созданию условий для улучшения эффективности и формирования принципиально новых направлений деятельности при реализации стратегических национальных приоритетов". Это особенно важно в связи с тем, что целями развития искусственного интеллекта в РФ определены:

• обеспечение роста благосостояния и качества жизни ее населения;
• обеспечение национальной безопасности и правопорядка.

Аналитическая работа заключается в снижении степени неопределенности ситуации для разработки альтернатив управленческих решений технологического развития и определения границ состояний с учетом риск-ориентированных решений и динамики процессов окружающей обстановки. Эти решения вырабатываются на основе интеграции управления научно-исследовательской и производственно-технологической деятельностью.

Перспективные виды моделирования

На практике разработано много подходов к поиску решений в подобных сложных ситуациях, перспективными являются:

• имитационное моделирование эволюции системы во взаимодействии с внешней средой, позволяющее проследить ход процессов, промежуточные и конечное состояния при реализации определенного сценария;
• агентное моделирование – исследование границ возможных сценариев и вероятного поведения элементов системы с помощью моделирования их взаимодействия в рамках заданных правил и ограничений;
• когнитивное моделирование – выявление особенностей обстановки и их причин в технологии направленных взвешенных знаковых графов;
• игровое моделирование для определения вероятного развития обстановки и поведения элементов системы путем проведения деловых игр;
• моделирование виртуальных сред с использованием способов представления элементов системы и моделирования их взаимодействия.

Преимущество таких наукоемких подходов перед интуитивными состоит в том, что расширяется возможность обзора текущей обстановки под различными углами зрения для получения прогнозных данных, степень неопределенности снижается и создаются условия для более качественного решения.
Существующие подходы к решению задач различной степени неопределенности можно представить в виде схемы (рис. 1).

Некоторые из подобных задач могут исследоваться с помощью технологий мультиагентного моделирования. Поэтому в тех случаях, когда накоплен опыт в виде базы знаний, могут применяться программные средства агентного моделирования, когнитивного моделирования или экспертной оценки. При исследовании вариантов развития актов незаконного вмешательства и терактов получение дополнительной информации возможно с помощью игрового моделирования. Технологии моделирования виртуальных сред и виртуальной реальности как отдельный формат исследования сложных систем могут рассматриваться с помощью искусственного интеллекта.

Рис. 1. Схема подходов к решению задач различной неопределенности

Для повышения качества решения процессы прогнозирования, анализа и выработки решений должны осуществляться циклично в следующей последовательности:

• первичный прогноз выполняется на основе данных мониторинга;
• дополнительно исследуются границы возможных состояний обстановки путем ее моделирования с учетом диапазонов динамики входных параметров модели;
• анализ множества полученных в ходе прогнозирования вариантов развития ситуации позволяет выявить ожидаемые в будущем вероятные проблемы или благоприятные возможности;
• для нивелирования угроз или использования возможностей намечаются пути, способы и последовательность управленческих действий;
• вырабатываются критерии оценки качества решений;
• в соответствии с намечаемыми шагами прогнозируется характер реакции системы на планируемые воздействия при различных возможных сценариях развития обстановки;
• вновь проводится анализ результатов, выявление сопутствующих и побочных эффектов;
• в случае несоответствия ожидаемых эффектов критериям качества варианты действий корректируются, а процедуры оценки последствий вновь повторяются.

И так до достижения положительного результата, которым может быть набор альтернативных вариантов, каждый из которых более приемлем с позиции какого-то критерия оценки.

Не всегда можно найти решения в направлении улучшения ситуации, иногда поиск решения сводится к обоснованию выбора "наименьшего из зол".
При одновременном использовании различных технологий моделирования полнота рассмотрения проблемы повышается. Поток данных постоянно корректирует модель восприятия ситуации, поэтому цикличная информационно-аналитическая поддержка управления должна происходить постоянно для выработки предложений по "корректировке курса".

Развитие рассмотренной выше инструментальной среды моделирования, прогнозирования и экспертиз используется в интересах радикального улучшения качества развития стратегических национальных приоритетов. Для единообразного и расширенного применения этой технологии она должна быть встроена в систему поддержки принятия решений комиссии РАН по техногенной безопасности.

Выводы

В качестве выводов необходимо констатировать следующее:

• выполнение работ по реализации стратегических национальных приоритетов в части обеспечения их безопасности необходимо проводить с использованием риск-информированного, целеориентированного управления уязвимостями и доступными адаптационными возможностями, а также положениями Концепции технологического развития на период до 2030 г.;
• инновационная парадигма комплексного обеспечения безопасности СВО и КВО и их антитеррористической защищенности с помощью "управления стойкостью" позволяет оптимизировать их стойкость как систем высокой ответственности;
• постановка проблемы информационно-психологической безопасности процесса подготовки и принятия решений определяет необходимость разработки методологического обоснования способов и средств ее обеспечения. В качестве ее основы должна быть система психологической защиты, учитывающая когнитивные искажения;
• по мере работы комиссия РАН по техногенной безопасности сформирует единые согласованные взгляды для создания на их основе технологической платформы и последующей модернизации процесса технологического развития в сфере безопасности на базе общих принципов с применением единого платформенного решения.

¹ Критические технологии – отраслевые технологии, критически необходимые для производства важнейших видов высокотехнологичной продукции и создания высокотехнологичных сервисов, имеющие системное значение для функционирования экономики, решения социально-экономических задач и обеспечения обороны страны и безопасности государства.

² Сквозные технологии (технологические направления) – перспективные технологии межотраслевого назначения, обеспечивающие создание инновационных продуктов и сервисов и оказывающие существенное влияние на развитие экономики, радикально меняя существующие рынки и/или способствуя формированию новых рынков. Сквозные технологии определяют перспективный облик экономики и отдельных отраслей в течение ближайших 10–15 лет.

³ Когнитивная война – это воздействие на высший уровень мышления человека, его смыслы и ценности, которые предопределяют его поведение. Подменяя смыслы и ценности, а также интерпретацию физических событий, человек подталкивается к иному типу поведения.

Опубликовано в журнале "Системы безопасности" № 4/2023

Все статьи журнала "Системы безопасности"
доступны для скачивания в iMag >>

Фото: tv-nano.ru/wp-content