Анализ и прогнозирование уязвимостей с помощью искусственного интеллекта и больших языковых моделей

Рассмотрим ключевые проблемы в сфере кибербезопасности, методы для обнаружения и предотвращения уязвимостей в информационных системах и технических средствах на основе искусственного интеллекта и больших языковых моделей.

Искусственный интеллект (ИИ) и большие языковые модели (LLMs) играют важную роль в современной кибербезопасности.

Использование ИИ включает анализ больших объемов данных, обнаружение угроз, определение рисков и автоматическую реакцию на инциденты [1]. Большие языковые модели, например GPT-3, GPT-4 и иные ИИ, способны анализировать и понимать естественный язык, что помогает им распознавать фишинговые письма и другие виды социальной инженерии [2]. Применение ИИ в кибербезопасности предполагает прогнозирование возможных атак на основе данных о предыдущих угрозах и инцидентах [3].

Кроме того, использование ИИ может способствовать выявлению и устранению нулевого дня без известных исправлений или обновлений разработчиками [4]. Однако следует отметить, что при использовании ИИ и LLMs в кибербезопасности могут возникнуть определенные трудности. Как пример одной из ключевых проблем – наличие предубеждений при обучении моделей, что способно вызывать ошибки в результатах работы системы [5].

Существует риск, что злоумышленники могут задействовать LLMs для создания более убедительных фишинговых писем или для поиска и эксплуатации уязвимостей. Важно понимать, что ИИ не является лучшим средством и требует дополнительного человеческого участия и внимания для эффективной работы. Сотрудничество между профессионалами в области кибербезопасности и системами ИИ в связке с LLMs имеет важное значение для успешного выявления и противодействия угрозам.

Технологии и методы прогнозирования уязвимостей

Технологии прогнозирования уязвимостей с помощью ИИ и LLMs представляют собой подходы в области кибербезопасности, направленные на улучшение защиты информационных систем от вредоносных атак и уязвимостей. Эти технологии позволяют анализировать большие объемы данных, обнаруживать аномалии, предугадать угрозы и автоматизировать обработку инцидентов, тем самым повышая эффективность систем информационной безопасности.

ИИ в кибербезопасности используется для анализа и прогнозирования угроз на основе данных о прошлых инцидентах. Это включает в себя обнаружение аномалий, которое позволяет выявлять необычное поведение в сети, что может указывать на попытку вторжения или иную угрозу. Алгоритмы машинного обучения анализируют данные о поведении системы и трафике, выявляя отклонения от нормы и предсказывая потенциальные атаки до того, как они произойдут.

Применение ИИ включает автоматизацию обработки инцидентов, что позволяет системам информационной безопасности или системам мониторинга событий информационной безопасности быстро реагировать на угрозы, минимизируя вред от возможных атак. Это достигается за счет использования алгоритмов, которые могут автоматически классифицировать типы атак и предлагать оптимальные решения для их нейтрализации.

LLMs, в свою очередь, представляют собой мощные инструменты для анализа и понимания естественного языка, что позволяет им обнаруживать фишинговые письма, мошеннические сообщения и другие виды социальной инженерии. Эти модели обучаются на больших объемах текстовых данных, что позволяет им генерировать и анализировать тексты, выявляя потенциально вредоносный контент. LLMs могут использоваться для ревью кода и написания фрагментов программного обеспечения, что помогает обнаруживать уязвимости в коде до того, как они будут эксплуатироваться злоумышленниками. Это особенно важно для предотвращения атак нулевого дня, когда уязвимости еще не известны разработчикам и не существует патчей для их устранения. Отдельной областью исследования является применение LLMs в архитектуре безопасной разработки (CI/CD).

LLMs используются в качестве сервисного бэкэнда для интегрированных LLMs в приложения на основе ИИ, которые служат промежуточным программным обеспечением для уточнения запросов пользователей с помощью знаний о конкретной области, чтобы лучше информировать LLMs и улучшать ответы. Несмотря на многочисленные возможности и преимущества, интегрированные в LLMs приложения могут создавать новые векторы атак и являются потенциальными уязвимостями, которые, вероятно, будут исходить от разработчика вредоносного приложения или от злоумышленника (внешнего инициатора угрозы), способного контролировать доступ к базе данных, манипулировать и отравлять данные, представляющие повышенный риск для пользователя. Успешная эксплуатация выявленных уязвимостей может привести к тому, что пользователи получат ответы, соответствующие намерениям внешнего злоумышленника (инициатора угрозы), в таких LLMs-приложениях на базе OpenAI GPT-3.5 и GPT-4. Эмпирические результаты показывают, что угрозы вполне эффективно обходят ограничения и политику модерации OpenAI, в результате чего пользователи получают необъективные ответы, опасный контент, угрозу конфиденциальности и дезинформацию. Для противодействия этим опасностям определены четыре ключевых свойства: целостность, определение источника, возможность обнаружения атак и обеспечение безопасности, которым должно удовлетворять безопасное LLMs-интегрированное приложение [6].

Для прогнозирования уязвимостей в кибербезопасности используются различные методы ИИ:

1. Метод машинного обучения – классификация, кластеризация, обнаружение аномалий для анализа больших объемов данных и выявления уязвимостей в информационных системах [7].
2. Метод глубоких нейронных сетей – для анализа структуры и поведения сетей, выявления аномалий и обнаружения потенциальных угроз безопасности [7].
3. Метод обработки естественного языка (NLP) – для анализа текстовых данных, включая угрозы безопасности, фишинговые письма и другие виды социальной инженерии [8].
4. Метод машинного обучения с подкреплением – для создания систем, способных автоматизированно искать уязвимости в информационных системах [8].
5. Метод опорных векторов (SVM) – алгоритм машинного обучения для классификации и анализа данных. Он широко применяется для выявления уязвимостей на основе характеристик сетевого трафика или кода приложений. SVM может помочь обнаружить аномалии и предсказать потенциальные угрозы безопасности.
6. Метод байесовских сетей [9] – для повышения надежности обнаружения уязвимостей, когда существует неопределенность в оценке, является ли выявленная уязвимость достоверной. Этот метод позволяет включать в оценку другие наблюдения в качестве доказательств, например, как часто используемый механизм обнаружения генерирует ложноположительные результаты и т.д. Использование байесовских сетей позволяет проводить более интеллектуальный анализ, который сочетает несовершенные методы сканирования с экспертными человеческими знаниями.
7. Метод машинного обучения "регрессия дерева с градиентным усилением" – для определения поведения и предпочтения пользователей с возможностью объединить историю исправлений, обновлений и т.д., чтобы предсказать важное.

Большая часть сервисов по управлению уязвимостями сегодня либо основана на облаке, либо имеет облачный компонент, либо стремится перейти в облака. Несмотря на множество преимуществ облачной платформы управления уязвимостями, одно из наиболее ценных – это данные, которые можно анонимизировать и извлечь из приложения. Каждая организация, компания, государственные органы ежедневно устраняют уязвимости в своих информационных системах, ИТ-инфраструктуре и т.д. Такие облачные продукты или доступные сервисы с обогащенными данными для управления уязвимостями предоставят богатый источник данных, к которому можно применить механизм искусственного интеллекта. Используя постоянно расширяющуюся базу данных облачных сервисов, облачных провайдеров и их действия по исправлению, вклад в оценку риска уязвимости становится динамическим элементом, который отражает постоянно меняющийся характер угрозы. Использование этого изменчивого и растущего источника данных может усилить приоритеты устранения уязвимостей.

Заключение

Анализ и прогнозирование уязвимостей с помощью ИИ и LLMs являются важным инструментом для государства в целом и современных бизнесов, которые стремятся обеспечить свою безопасность. Внедрение ИИ и LLMs позволяет предсказать и предотвратить угрозы раньше времени, и, минимизируя потенциальные риски, позволяет бизнесу непрерывно функционировать.

ИИ представляет собой совокупность математических методов, которые используются для выделения аномалий и вместе с современными LLMs дают возможность автоматизировать обработку больших объемов данных и событий информационной безопасности, обнаруживать аномалии, прогнозировать угрозы и автоматизировать обработку инцидентов. На этих данных обучаются модели машинного обучения, позволяющие выявлять скрытые закономерности между различными показателями работы информационных систем, пользователей, злоумышленников и технических средств. Повышается качество обработки данных функционирования информационных систем, что и увеличивает точность выявления атак и вредоносной активности и иных инцидентов информационной безопасности.

Среди главных перспектив развития технологий прогнозирования уязвимостей и аномалий с использованием ИИ и LLMs – способность определять нелинейные сложные зависимости между различными компонентами информационных систем и обнаружение неизвестных ранее типов вредоносной активности.

Эти методы также обладают рядом недостатков, самый значительный из которых – наличие ложных срабатываний, требующих фильтрации результатов и тонкой настройки системы. Благодаря своим преимуществам выявление аномалий и инцидентов является необходимым ресурсом для обеспечения кибербезопасности, несмотря на риски использования.

Поскольку сложность сетей увеличивается вместе с количеством и изощренностью субъектов угроз, технологии ИИ и LLMs способны помочь облегчить растущую нагрузку на типичные корпоративные группы по управлению уязвимостями, обеспечивая сочетание интеллектуального принятия решений и автоматизации, и все это становится возможным благодаря современным технологиям ИИ (которые в настоящее время только начинают свое развитие в глобальном масштабе). Использование ИИ и LLMs в кибербезопасности открывает новые возможности для защиты информационных систем от вредоносных атак и уязвимостей до появления таких предпосылок.

Всегда важно иметь план действий на случай успешной атаки на систему с ИИ и LLMs, а также проработать меры по борьбе с такими атаками и скрытыми возможностями ИИ. В целом использование ИИ и LLMs эффективно для улучшения кибербезопасности, однако необходимо тщательное изучение рисков и разработка стратегий для снижения потенциальных угроз.

Список литературы

1. https://aws.amazon.com/ru/what-is/artificial-intelligence/
2. https://rdc.grfc.ru/2022/11/large_language_model_in_information_space/
3. https://esapro.ru/blog/iskusstvennyy-intellekt-v-kiberbezopasnosti-perspektivy-problemy-i-preimushchestva/
4. http://vestnik-glonass.ru/news/tech/iskusstvennyy-intellekt-analiziruet-i-ustranyaet-kiberugrozy/
5. https://www.itweek.ru/ai/article/detail.php?ID=227909
6. https://arxiv.org/abs/2311.16153
7. https://elibrary.ru/item.asp?id=45625057
8. Прикаспийский журнал: управление и высокие технологии. 2021. № 1 (53).
9. https://ru.wikipedia.org/wiki/%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C 

Все статьи журнала "Системы безопасности"
доступны для скачивания в iMag >>

Фото: ru.freepik.com