Дипфейки. Ужасы искусственного интеллекта

Слово дипфейк (от англ. Deepfake) объединяет в себе два понятия: deep learning – глубокое обучение и fake – подделка. По определению, приведенному в [1], дипфейк – это "поддельное видео, созданное с использованием глубоких нейронных сетей". В этой статье мы обобщим информацию о данном виде мошенничества, которая регулярно публикуется на телеграм-канале "Территория биометрии" (https://t.me/allbiometrics).

Одно из первых сообщений о дипфейках на канале "Территория биометрии" было про пользователя, сгенерировавшего в Stable Diffusion невероятно реалистичную девушку, которая держит в руках лист с надписями и поддельные права. Дальше сообщения о дипфейках покатились как снежный ком. Есть одна особенность, и это важно, – с момента первой публикации прошло менее года! И к настоящему времени, к сожалению, количество сообщений о противоправных действиях не уменьшается.

На проводе "мэр" и другие

75-летний Евгений получил звонок от человека, представившегося секретарем мэра. Тот уверил мужчину, что с ним хочет пообщаться сам Сергей Семенович Собянин. "Мэр" на видеосвязи выглядел очень похожим на настоящего Собянина и сообщил о хищении денег из федерального бюджета через счет пенсионера. Затем Евгению позвонил "генерал-полковник", который предъявлял требования. Жертва повелась и все сделала, как ей сказали. Так мошенники получили почти 1,5 млн руб.

Заслуженного врача РФ развели на 4 млн руб. с помощью дипфейка Сергея Семеновича Собянина. 82-летнему человеку позвонили якобы из мэрии и сказали, что с ним хочет поговорить глава города. Мужчине набрали по видеосвязи и благодаря дипфейку внушили, что человек виновен в донатах украинской армии. Под психологическим прессингом врач снял 4 млн руб. наличкой и передал их курьеру.

Преподавательница после звонка от фейкового мэра Москвы отдала мошенникам 2 млн руб.

Мошенники, используя дипфейк Сергея Семеновича Собянина, звонят местным руководителям театров и говорят, что ими бессовестно разворован городской бюджет.

В Санкт-Петербурге тоже не все гладко. Ведущий агроном Ботанического сада рассказал, как ему позвонил губернатор Санкт-Петербурга. Изображение было вполне достоверно, Александр Беглов сидел на фоне российского флага, жестикулировал. Попросил помочь поймать злоумышленников. Убедив гражданина, псевдогубернатор переключил жертву на псевдозаместителя министра внутренних дел, и на экране телефона появился Александр Горовой. Далее все развивалось по распространенному сценарию. Держа на постоянном контроле ученого, мошенники не просто заставили его снять со счета деньги, но и переписать номера купюр.

В одном из регионов жертвой мошенников стал высокопоставленный чиновник, который поверил, что ему звонит губернатор, и перевел на "безопасный счет" несколько миллионов рублей.

Как воруют голоса

В России [3] растет количество объявлений, которые предлагают за деньги озвучивать рекламу и фильмы. Многие из таких предложений публикуются мошенниками, при этом сами по себе такие объявления не нарушают закон, но записи голоса злоумышленники используют для обучения нейросетей и генерируют на их основе аудиосообщения, с помощью которых вымогают деньги у друзей и родственников жертвы.

На имя председателя правления РОЦИТ (Региональный общественный центр интернет-технологий) Антона Горелкина поступило обращение профессиональной актрисы дубляжа. Она рассказала, что в 2019 г. заключила договор с крупным российским банком по озвучиванию текста для голосового помощника. В 2023 г. она узнала, что ее голос использовался на различных сайтах в Интернете, где распространяются материалы порнографического характера, имеются рекламные записи с ее голосом с призывами к действиям сексуального характера. В настоящее время идут судебные разбирательства в Савеловском районном суде Москвы [2]. Актриса попросила РОЦИТ дать правовую оценку данной ситуации и оказать содействие в восстановлении нарушенных прав.

В США разгорелся скандал из-за голоса Sky, которым разговаривает голосовой помощник в новой версии чат-бота ChatGPT 4.0. Актриса Скарлетт Йоханссон утверждает, что этот голос неотличим от ее собственного, что подтверждают родственники, друзья и многочисленные фанаты актрисы.

Угрозы для судов, банков, работодателей…

Самой популярной схемой обмана пользователей в период распродаж становится подделка популярных сайтов, интернет-магазинов и маркетплейсов. Злоумышленники создают фейковые аккаунты известных брендов или самих торговых площадок в соцсетях и мессенджерах и делают рассылку от их лица. Они пользуются тем, что крупные ритейлеры делают большие скидки в этот период, поэтому подобные предложения могут не вызывать настороженности.

"В последнее время благодаря технологиям искусственного интеллекта (ИИ) распространение получила схема с дипфейками. Мошенники взламывают как обычных пользователей, так и популярные Telegram-каналы и отправляют вредоносные ссылки: в первом случае контактам от имени взломанного пользователям, во втором – от имени владельца (канала. – Ред.) с призывом покупать некие товары. Свои сообщения мошенники сопровождают дипфейк-видео и аудио, которые должны убедить пользователей в их легитимности", – говорит начальник отдела по кибербезопасности компании "Код безопасности" Алексей Коробченко [4].

По данным полиции Гонконга [5], сотрудницу финансовой службы международной компании обманом заставили выплатить 25 млн долларов мошенникам, которые с помощью технологии "дипфейк" выдавали себя за финансового директора компании во время видеоконференции.

Пользователь соцсети, опытный разработчик, использовал технологию дипфейков, чтобы помочь другу устроиться на работу, заменив свое лицо на лицо друга во время видеособеседования. Для подготовки к интервью использовалась программа, обученная на датасете из 10 тыс. фото друга. После того как на первом собеседовании ребят раскусили из-за сбоя синхронизации дипфейка, они обучили модель заново в течение недели, и на втором собеседовании все прошло успешно: другу предложили работу с зарплатой 4 тыс. долларов в месяц.

Постепенно дипфейки стали угрозой даже для судов, страховых компаний, исследовательских институтов, в которых подлинность доказательств и источников особенно важна.

Недобросовестные компании теперь могут отказать в удовлетворении законных претензий, ссылаясь на то, что представленные данные фейк. Так у реального пользователя заблокировали деньги, объявив, что он дипфейк.

С помощью искусственного интеллекта можно создавать дипфейки на медицинскую тематику, например статистические данные пациентов, медицинские снимки (КТ, МРТ, рентгеновские изображения), видео с врачами, научные публикации и исследования. Это несет серьезные риски, если использовать дипфейки со злым умыслом.

Дипфейки в политике

Примеров использования дипфейков в махинациях много, но если отдельным гражданам следует внимательно относиться к просьбам отдать свои кровные и есть время подумать, то для политических дипфейков главное – обнародовать дипфейк всего один раз. Достаточно одного видеофайла с компрометирующим материалом, и карьера политика может рухнуть. Даже если удастся доказать, что это дипфейк, то, как говорится в известном анекдоте, "осадочек-то остался".

Мошенники опубликовали фейковый видеоролик на YouTube, выдав его за официальное выступление миллиардера Илона Маска на конференции Bitcoin-2024, где он обещает бесплатную раздачу разных криптовалют. В фейковом ролике от пользователей требуется отправить на указанный адрес любую сумму. Аферистам удалось собрать с доверчивых пользователей финансовых активов сумму в 28 586 долларов.

В конце января 2024 г., за несколько дней до праймериз (предварительного голосования) в Нью-Гемпшире, тысячам местных демократов поступили звонки, в которых их убеждали не ходить на мероприятие. "Голосование в этот вторник лишь поможет республиканцам в их стремлении снова выбрать Дональда Трампа. Ваш голос будет иметь значение в ноябре (когда в США пройдут президентские выборы), а не в этот вторник", – слышали они по телефону знакомый голос президента США Джозефа Байдена. Звонку поверили многие: на телефонах отображался номер одного из известных членов Демократической партии из Нью-Гемпшира. Звонил, однако, конечно, не президент США. Эксперты из компании Pindrop, специализирующейся на кибербезопасности, пришли к выводу, что имитация голоса президента США была сделана с помощью ИИ. В офисе генерального прокурора штата звонки назвали незаконной попыткой воспрепятствовать голосованию и начали расследование.

В социальных сетях распространяется фейковое видео с отрывком из интервью министра иностранных дел России С.В. Лаврова, авторами которого при помощи нейросетей наложен абсолютно не соответствующий действительности текст [6]. При этом в качестве основы было использовано подлинное видео с интервью С.В. Лаврова для документального фильма, посвященного 25-летию агрессии НАТО против Югославии (24 марта 2024 г.), опубликованное на цифровых ресурсах министерства.

Украинские спецслужбы [7] при содействии западных кураторов продолжают активно использовать дипфейки и другие технологии на базе искусственного интеллекта для распространения ложной информации о ситуации в приграничных регионах нашей страны.

Обратили внимание на очередную грубую подделку: в сеть "Интернет" была вброшена видеозапись, на которой официальный представитель МИД России М.В. Захарова якобы заявляет о том, что "российская сторона готова рассматривать передачу Запорожской АЭС под контроль представителей Киева взамен на добровольный выход ВСУ из Курского региона". Это "обращение" – дипфейк, склеенный на скорую руку на основе видеозаписи брифинга М.В. Захаровой от 18 июля 2024 г. (рис. 1).

Рис. 1. Дипфейк с официальным представителем МИД России Марией Захаровой

Одной из серьезных проблем выборов в Индии названы дипфейки, которые широко используются в предвыборных кампаниях кандидатов. Эксперты считают, что подобный тренд мы будем наблюдать в ближайшее время на всех выборах, если страны не примут соответствующие законы.

Опасность дипфейков будет возрастать

В прошлом году McAfee проводила опрос 7 тыс. человек, и оказалось, что каждый четвертый сталкивался или знает того, кто сталкивался с использованием голосовых дипфейков.

Дипфейки, как оказалось, доставляют немало хлопот. 72% опрошенных ежедневно беспокоятся о возможности мошенничества с использованием дипфейков, которое может привести к краже их денег или личной информации. 45% компаний обеспокоены способностью генеративного искусственного интеллекта создавать более сложные синтетические личности. Ожидается [8], что рынок дипфейк-технологии на базе ИИ значительно расширится, увеличившись с 564 млн долларов в 2024 г. до существенной суммы в 5,13 млрд долларов к 2030 г. (рис. 2).

Рис. 2. Прогноз рынка дипфейк-технологий на базе искусственного интеллекта

По мнению зампреда правления Сбербанка Станислава Кузнецова, в следующем году среди новых трендов кибермошенничества стоит ожидать распространения использования фальшивых изображений и голоса (дипфейков) и "удара по человеку". Использование преступным миром дипфейков будет происходить по многим разным каналам. Сохранится тренд на то, чтобы наносить ущерб отраслям экономики, организациям, структурным направлениям... "Ну и последний тренд, как мне кажется, это будет "удар по человеку", удар, рассчитанный на получение доверия у человека", – сказал он.

Бороться с помощью законодательства

В России законодатели активно обсуждают необходимость ужесточения законов об использовании дипфейков.

В Госдуму [9] внесли проект поправок к Уголовному кодексу РФ, касающийся ответственности за использование технологии подмены голоса или внешности, то есть дипфейков, в преступных целях.

Проект делает применение технологии дипфейков "отягчающим обстоятельством" по уже закрепленным в законе преступлениям. Согласно пояснительной записке, технология может приравниваться к незаконному использованию биометрических персональных данных. Примеры включают подделку фотографий для распространения клеветы, а также использование нейросетей и искусственного интеллекта для создания подделок, которые почти невозможно отличить от реальных изображений.

Предлагается наказание за использование дипфейков для клеветы в виде штрафа до 1,5 млн руб., ареста на срок до трех месяцев или лишения свободы на срок до двух лет. За применение подмены голоса или изображения для хищения средств и мошенничества предлагается наказание в виде штрафа до 400 тыс. руб. или лишения свободы на срок до шести лет.

Проект [10] в настоящее время находится на рассмотрении в ответственном комитете Государственной Думы по государственному строительству и законодательству, получено заключение Правового управления. В заключении по проекту федерального закона перечислены основные статьи УК РФ, которые могут быть использованы для квалификации правонарушения с использованием дипфейков: ст. 1281 "Клевета", ст. 158 "Кража", ст. 159 "Мошенничество", ст. 1596 "Мошенничество в сфере компьютерной информации", ст. 163 "Вымогательство", ст. 165 "Причинение имущественного ущерба путем обмана или злоупотребления доверием". Сроки представления проекта в Совет Государственной Думы пока не определены.

В таком же состоянии проект закона "О внесении изменений в часть первую Гражданского кодекса Российской Федерации (об охране голоса)" [11].

Вице-президент Ассоциации юристов по регистрации, ликвидации, банкротству и судебному представительству Владимир Кузнецов соглашается с тем [12], что инициатива принятия закона о введении уголовного наказания является положительной и как нельзя более актуальной, поскольку реалии настоящего времени дают понять, что "дипфейки" давно вышли за пределы условно-развлекательной области и стали инструментом для совершения серьезных правонарушений, что обусловливает необходимость особенно жесткой борьбы с лицами, их использующими. По мнению эксперта, уголовно-правовое регулирование – далеко не единственная отрасль законодательства, в которой необходимо закрепить нормы, касающиеся комментируемой проблемы. Например, законодатель мог бы актуализировать нормы Гражданского кодекса в части защиты прав граждан на свои голосовые данные и изображения в контексте их использования при помощи дипфейков, но, поскольку комментируемый законопроект является узконаправленным, данный вопрос может быть решен властями позднее.

За рубежом, в Великобритании, создание откровенно сексуальных дипфейков стало уголовным преступлением. Согласно закону, любому, кто создаст откровенные изображения взрослого человека без его согласия, будет грозить судимость и не ограниченный по размеру штраф. По словам министерства юстиции, закон будет применяться независимо от того, намеревался ли создатель изображения делиться им. А в случае, если изображение будет широко распространено, его создателю грозит тюремное заключение.

В принятом ЕС законе о регулировании ИИ содержится требование об обязательной маркировке дипфейков водяными знаками.

По данным McAfee, основанных на опросе 7 тыс. человек, каждый четвертый сталкивался или знает того, кто сталкивался с использованием голосовых дипфейков. 72% респондентов ежедневно беспокоятся о возможности мошенничества с использованием дипфейков. Ожидается, что рынок дипфейк-технологий на базе ИИ значительно расширится, увеличившись с 564 млн долларов в 2024 г. до существенной суммы в 5,13 млрд долларов к 2030 г.

Как защитить себя от дипфейков

Чтобы хотя бы частично обезопасить себя от дипфейков [13], следует соблюдать следующие правила:

1. Не доверяйте необычным просьбам от родных и знакомых. Проверяйте их и не стесняйтесь быть скептиком. Обязательно перепроверяйте такие просьбы, связавшись с этим знакомым по другому каналу связи, в идеале – встретившись лично. Задайте в сообщении личный вопрос, ответ на который знает только ваш знакомый.

2. Присматривайтесь и прислушивайтесь, ищите нестыковки: глаза, губы, дыхание. Некоторые типовые дефекты¹:

• отражения в глазах. В глазах обычно отражаются источники света, который был при съемке. На поддельных фото и видео они могут быть неодинаковы, как будто каждый глаз смотрит на что-то свое. Обратите также внимание моргает ли человек, соответствует ли моргание остальной мимике;
• артикуляция. Двигаются ли губы в соответствии с тем, что произносит голос? Рассинхронизация видео со звуком характерна для дипфейков. Другая особенность фальшивок – лицо в целом малоподвижно, шевелятся только губы;
• дыхание. В звукозаписях без видео и аудиозвонках стоит обратить внимание, делает ли собеседник нормальные паузы, чтобы вдохнуть. Если он говорит без этих коротких перерывов – скорее всего, запись поддельная;
• сильные различия в резкости изображения. Например, если изображение в целом достаточно резкое, но лицо или некоторые части лица кажутся более размытыми, вероятно это дипфейк;
• перепады освещенности или тона кожи от кадра к кадру, цифровые артефакты (квадратики, размытость) на границе между лицом человека и остальным кадром;
• обратите внимание на овал лица, он в таких случаях может быть слегка размыт. Если мошенник резко дернется, то маска может слететь. Можно также попросить закрыть лицо руками и резко убрать, возможно появление искажений изображения;
• проверьте видеосообщение на предмет монотонной речи собеседника, неестественной мимики и дефектов звука – наиболее заметных признаков дипфейка.

3. Не загружайте свои фото и видео в соцсети и сторонние сервисы (или хотя бы ограничьте доступ к ним):

• проинформируйте коллег и членов семьи о том, как устроены дипфейки и с какими потенциальными рисками они связаны;
• чтобы подтвердить личность собеседника, спросите его о каком-либо факте, который известен только ему и вам;
• соблюдайте базовые правила кибербезопасности (надежное хранение паролей, защиту данных, защиту от вредоносного ПО, резервное копирование и др.).

4. Будьте в курсе развития технологий и рассказывайте о них другим.

5. Проверяйте источники информации. Захватывающая новость или уникально выгодная акция могут быть и правдой, и чьим-то розыгрышем, и настоящим мошенничеством.

6. Применяйте защитные технологии. Лучшая защита от дипфейков – здравый смысл + технологии! Используйте защиту от нежелательных звонков по телефонной сети и в мессенджерах – приложения для смартфонов и сервисы телеком-операторов эффективно блокируют мошеннические вызовы.

Если вы увидели подозрительное видео в соцсетях или мессенджере, проверить его на "фейковость" можно с помощью специальных сервисов [14], [15], [16].

Обнаружив дипфейки в соцсетях, не ленитесь нажать кнопку "пожаловаться" – на многих платформах публикация дипфейков в явном виде запрещена правилами и подобный контент быстро перепроверят и удалят.

Что дальше?

Минцифры РФ с марта 2024 г. обсуждает возможность создания единой платформы для выявления недостоверного контента, сгенерированного в том числе при помощи технологий искусственного интеллекта.

В начале года были сообщения, что Роскомнадзор работает над программой распознавания дипфейков.

Проблема контроля дипфейков крайне актуальная, на сегодняшний день создано значительное количество программ разного уровня сложности, которые позволяют бороться с дипфейками. Но главная проблема заключается в том, что в настоящее время практически отсутствуют независимые средства тестирования таких программ и объективные датасеты.

В завершении статьи хотелось бы отметить, что ИИ – это всего лишь технология, которая в руках добропорядочных граждан превращается в сильный инструмент интеллектуальной помощи, а в руках мошенников – в орудие преступления – дипфейк.

¹ Эти признаки не означают, что перед вами 100% дипфейк, но, заметив их, нужно включать скепсис на максимум. Помните, что технологии дипфейка активно развиваются и могут быть лишены указанных артефактов.

Список источников

1. https://spravochnick.ru/russkiy_yazyk/proishozhdenie_i_upotreblenie_neologizma_dipfeyk_v_russkom_yazyke/
2. https://mos-gorsud.ru/rs/savyolovskij/services/cases/civil/details/074de3c1-c4d4-11ee940c-cde78900893a#tabs-3
3. https://www.bfm.ru/news/545180?ysclid= lt8pqyp89p626164441  
4. https://ria.ru/20241128/telegram-1986125942.html
5. https://edition.cnn.com/2024/02/04/asia/deepfake-cfo-scam-hong-kong-intl-hnk/index.html
6. https://t.me/MID_Russia/38057
7. https://www.mid.ru/ru/press_service/publikacii-i-oproverzenia/oproverzenia1/nedostoverniepublikacii/1965245/
8. https://dsmedia.pro/analytics/k-2030-godurynok-dipfejk-tehnologii-na-baze-ii-dostignet-5-mlrd-dollarov
9. https://www.gazeta.ru/tech/news/2024/09/ 17/23941393.shtml?updated 
10. https://sozd.duma.gov.ru/bill/718538-8
11. https://sozd.duma.gov.ru/bill/718834-8 
12. https://www.gazeta.ru/social/news/2024/ 08/21/23734951.shtml 
13. https://dzen.ru/a/ZzyheXI1nGR-rg0R
14. https://www.aiornot.com/
15. https://scanner.deepware.ai/
16. https://www.duckduckgoose.ai/ 

Опубликовано в журнале "Системы безопасности" № 6/2024

Все статьи журнала "Системы безопасности"
доступны для скачивания в iMag >>

Изображение от freepik