02/05/2024
Мировая ситуация требует от производителей балансировать между краткосрочными возможностями и долгосрочными преимуществами, а также стратегиями, основанными на быстром восстановлении экономических показателей в случае рецессии. Это лишь некоторые из выявленных тенденций, но с акцентом на те, которые могут представлять особый интерес для индустрии безопасности.
Поскольку макроэкономические условия создают неопределенность для покупателей, а растущие затраты смещают внимание инвесторов к росту прибыли, аналитики Gartner видят тенденцию к тому, что поставщики технологий сосредоточатся на повышении эффективности и сфокусируются на будущих возможностях получения дохода.
Безопасный искусственный интеллект
"Ответственный искусственный интеллект (ИИ)" не является новой концепцией, но беспрецедентно быстрое развитие технологий ИИ второго поколения подогрело дискуссию об управлении рисками и о том, как решать возникающие проблемные вопросы, например о происхождении контента. Руководители продуктов должны создавать решения, включающие принципы безопасности, уделяя особое внимание аспектам прозрачности модели, отслеживаемости, интерпретируемости и объяснимости.
Рост пессимизма у покупателей
За последние три года поставщики технологий все чаще наблюдали негативные эффекты воронки продаж из-за нового поведения покупателей, которое противоречит устаревшим моделям выхода на рынок. Без адаптации подходов к продажам и маркетингу для выявления и реагирования на пессимизм покупателей поставщики технологий увидят спад успешности своих усилий как во внутренней, так и во внешней перспективе.
Узконаправленные генеративные модели ИИ
Генеративные модели общего назначения хорошо работают в широком спектре применений, но они могут оказаться непрактичными для многих корпоративных случаев использования, требующих специфичных для конкретной предметной области подходов к данным.
Поставщики технологий должны изучить отраслевые модели, которые можно адаптировать к конкретным требованиям пользователей, более эффективно используя доступные ресурсы.
Отраслевые облака
По прогнозам Gartner, к 2027 г. более 50% поставщиков технологий будут использовать отраслевые облачные платформы для достижения бизнес-результатов по сравнению менее чем с 5% в 2023 г.
Пересмотрите стандарты безопасности ИИ!
Недавние выводы Anthropic, стартапа по безопасности ИИ, выявили риски, связанные с большими языковыми моделями (LLM). Команда Anthropic обнаружила, что LLM могут стать "спящими агентами" внутри систем безопасности – бездействовать в моменты, когда они призваны предотвратить нежелательное поведение.
Системы искусственного интеллекта, которые действуют как люди и обманывают людей, представляют собой проблему для современных методов обучения технике безопасности. Результаты исследований показывают, что, если модель демонстрирует обманчивое поведение, стандартные методы могут не выявить такой обман и создать ложное впечатление об отсутствии инцидента. Существует острая необходимость выработать более динамичный и разумный подход к безопасности.
Задача безопасности ИИ для человечества имеет общемировое значение, но при этом отсутствует единый регулирующий орган. Такие организации, как Национальный институт стандартов и технологий в США, Национальный центр кибербезопасности Великобритании и Агентство кибербезопасности и безопасности инфраструктуры, играют важную роль в появлении основных принципов безопасности ИИ, возлагая основную ответственность на создателей и разработчиков систем искусственного интеллекта. В ответ на растущие проблемы безопасности предпринимаются совместные усилия по всем направлениям, от работы Фонда OWASP по выявлению уязвимостей ИИ до создания Консорциума Института безопасности ИИ более чем с 200 участниками, включая технологические гиганты и исследовательские организации. Наблюдается согласованный толчок к созданию более безопасной экосистемы ИИ.
Обеспечение устойчивости и надежности систем искусственного интеллекта, особенно нейронных сетей, остается первостепенной задачей.
Обеспокоенность, вызванная недавним исследованием LLM, показывает острую необходимость во всеобъемлющей стратегии обеспечения безопасности использования ИИ, призывает лидеров отрасли и политиков активизировать свои усилия по защите будущего развития искусственного интеллекта.
По материалам www.securityworldmarket.com
Фото: ru.freepik.com
