13/12/2023
Искусственный интеллект продолжает удивлять нас своими возможностями, и последние новости в этой сфере только усиливают восхищение. В этой статье мы рассмотрим новые достижения искусственного интеллекта и обсудим, как они могут повлиять на наше будущее.
Новейшие разработки и достижения в области ИИ приводят к настоящей революции в разных сферах нашей жизни. Осознав функционал и уже существующие возможности нейросетей, а также перспективы их интеграции с другими современными решениями, понимаешь, насколько большой потенциал кроется в грамотном взаимодействии человека с ИИ.
Новая версия ChatGPT 4v
Недавно вышел ChatGPT 4v и интегрированный с ним DALL-E 3. Помимо значительных улучшений в обработке естественного языка, система теперь стала мультимодальной, то есть она способна работать не только с текстом, но и изображением, видео и голосом. Да, теперь вы можете общаться с ChatGPT просто голосом, причем поддерживаются основные мировые языки.
Я лично провел несколько экспериментов, и результаты меня потрясли. Такое невозможно было предположить еще даже год назад. Например, я сфотографировал свои настольные электронные часы, а ChatGPT по фотографии определил время, которое они сейчас показывают, и марку производителя. Я попросил прислать мне инструкцию к этим часам, и он нашел ее в Интернете.
Помимо изображения, вы фактически получаете графический редактор, где текстом описываете, что вы хотите сделать с изображением, например вы можете разрезать его пополам или сделать черно-белым. Но самое интересное то, как он это делает: в процессе обработки запроса ChatGPT создает программы на Python, которые тут же сам выполняет, а результаты выполнения анализирует дальше. То есть он сам себя программирует!
Я попробовал более сложную задачу – вордовский файл с научной работой о методах анализа видеоизображений, содержащий таблицы с результатами анализа. По моим запросам ChatGPT строил графики по таблицам, вырезал их из документа и сохранял как скриншоты. Для этого он использовал Pythonскрипты, которые тут же сам и создавал в процессе обработки запроса! Затем я попросил его обобщить текст и рассказать об основных идеях документа пятилетнему ребенку – и чат смог написать объяснение этих идей на примере детских игрушек.
Напомню, что теперь ChatGPT интегрирован с DALL-E 3, нейросетью для создания изображений по описанию, и он может на лету создавать изображения, генерируя промпты для DALL-E 3, то есть также программируя себя.
"Городской мозг"
Другую интересную новость опубликовал портал Newsweek.com: "В Китае создают "городской мозг", объединяя компьютеры, лежащие в основе умных городов, которые уже сканируют страну от широких проспектов Пекина до улиц небольших городов, собирая и обрабатывая терабайты информации от сложных сетей датчиков, камер и других устройств, которые отслеживают дорожное движение, лица, голоса и походку людей и даже ищут еще не начавшиеся, но потенциальные драки".
По словам разработчиков, новый "мозг", оснащенный функциями наблюдения и обработки визуальной информации по образцу человеческого зрения, будет более эффективным, менее энергозатратным и позволит "улучшить управление". "Мы называем это вычислениями на бионической сетчатке глаза", – пишет Гао Вэнь, ведущий исследователь в области искусственного интеллекта.
А теперь пофантазируем
Представьте: используя мультимодальные большие модели из того же ChatGPT, соединяем данные с камер наблюдения всего города, добавляем туда данные от IoT-датчиков, и модель обретает телесность, то есть будет воспринимать весь город как свое тело.
О похожих экспериментах я рассказывал в майском номере (модель PaLM-E от Google), но та модель применялось к отдельному роботу, а здесь один робот – весь город, а при достаточном масштабировании и вся страна! Представьте, он может воспринимать сигналы с аварийных датчиков так же, как мы воспринимаем боль, легко искать аномалии и взаимозависимости, понимать тренды, делать описание видео в виде текста и, наоборот, по текстовым поисковым запросам находить необходимые видеофрагменты, например "найди человека в красной куртке и опиши его путь по городу".
Если в эту модель добавятся функции самопрограммирования, о которых я писал выше, то она будет способна на лету перепрограммировать различные устройства IoT и компьютеры для решения конкретной задачи или автоматически реагировать на различные события.
Если фантазировать еще дальше, то управлять или программировать такая модель сможет не только техническими процессами, но и бизнес-процессами в компаниях, потому что она знает все: как действовать бизнесу в конкретной области, обобщая знания всего человечества, как вести электронный документооборот, зная все о текущих делах конкретного бизнеса, а также через IoT-устройства, зная в каждый момент все о производственных процессах, логистике и складских запасах.
Эксперт редакции журнала "Системы безопасности"
