Очки смешанной реальности. Новая революция от Apple

В последние месяцы мы все привыкли к новостям об искусственном интеллекте, о новых больших языковых моделях и технологиях, основанных на них. Но среди череды ярких новостей, мне кажется, незаслуженно мало обсуждается анонс очков смешанной реальности от компании Apple.

К сожалению, мы можем оперировать только той рекламной информацией, которую предоставила сама компания, а также впечатлениями журналистов, побывавших на презентации. Но, если присмотреться к этим деталям подробнее, можно предположить, что мы имеем дело с поистине революционным устройством.

Первый прорыв после iPhone

Я думаю, что сейчас повторяется ситуация с выходом первого iPhone. Тогда, в 2007 г., когда Nokia безраздельно властвовала на рынке смартфонов, многие не увидели потенциала iPhone. Они считали, что это очередной сенсорный телефон, модели которых уже к тому времени лет пять выпускали различные компании и которые занимали нишевую долю рынка. Я помню те времена, когда казалось, что телефон дороже 100 долларов продать невозможно. А тут iPhone, базовая версия которого стоит 500 долларов! Все мы помним, что случилось потом: уже через год Nokia фактически на рынке не стало, позже ее купил Microsoft.

То, что стало причиной мирового прорыва iPhone, – это новый опыт взаимодействия человека с компьютером, совершенно естественный и интуитивный. Вам не нужен стилус, чтобы нажать кнопки, у вас есть пальцы, и этого достаточно. И это при том, что в первой версии iPhone не было ни GPS, ни фронтальной камеры для селфи, ни даже магазина приложений! А все потому, что теперь пользователь не был привязан к офисному столу с компьютером, чтобы выйти в Интернет, он стал подключен к Всемирной паутине постоянно.

Этот успех не без основания приписывают гению Стива Джобса. Лишь через несколько лет конкуренты смогли сделать устройства, аналогичные по качеству и функционалу. После его смерти в 2011 г. Apple уже не делала таких глобальных прорывов (умные часы, представленные в 2014 г., – важный, но всего лишь аксессуар, не влияющий принципиально на пользовательский опыт и использующийся в первую очередь для мониторинга здоровья и занятий фитнесом). Стали поговаривать, что Apple без Джобса уже "не торт" и не способна на новый глобальный прорыв.

Как работают Vision Pro

Прошло долгих 12 лет, и были представлены очки Vision Pro. Что в них такого революционного и почему их можно считать новым этапом взаимодействия человека и компьютера? Давайте посмотрим, что нам известно на данный момент. Это действительно очки, а не шлем, как у конкурентов, очень похожий на лыжную маску, то есть планируется, что человек в будущем будет носить их постоянно. Не зря это устройство называют "очки смешанной реальности", то есть это не просто виртуальные миры, в который уходит человек, выпадая из текущей реальности, а смешение виртуального (цифрового) мира с реальным миром.

Это не метаверс – новая вселенная от Цукерберга (генерального директора Meta – компании, запрещенной в РФ), а улучшенная версия нашей реальности, потому что эта реальность не только передается пользователю, но и транслируется окружающим.

12 камер внутри очков строят 3D-аватар пользователя, который транслируется на внешний экран очков, то есть окружающие люди понимают, что человек в Vision Pro находится в контакте с ними, слышит и видит их, они могут распознать его эмоции. Таким образом, пользователь не "вырван" из реального мира, продолжая общение с окружающими. Если пользователь погружается полностью в виртуальный мир, то на внешнем экране показывается абстрактная анимация. При этом, если к пользователю приближается другой человек в изолированном мире виртуальной реальности, гарнитура замечает его и создает размытый прозрачный промежуток в этом месте, чтобы пользователь мог видеть и разговаривать с этим человеком.

Восприятие смешанной реальности пользователем

Отдельно нужно сказать про восприятие человеком окружающей действительности в режиме смешанной реальности. Технологии дополненной реальности уже были обкатаны на телефонах в течение нескольких последних лет, но только очки позволяют использовать их на полную мощность. В очках пользователь воспринимает цифровые объекты так же естественно, как и настоящие, а самое главное – видит, как они взаимодействуют: например, открытое окно браузера или другой программы видно как большая панель, которая имеет толщину, она даже отбрасывает тени на реальные объекты!

Если сравнить с тем, как вы смотрите кино в виртуальном кинотеатре, то вы даже видите слабое отражение света на стенах и потолке, расположенных ближе к экрану.

Для полноценного погружения не менее важен звук. Для этого очки анализируют отражения звука от стен в комнате и корректируют его для пользователя, учитывая отражение звука от виртуальных объектов.
Отдельно стоит сказать про интерфейс взаимодействия с гарнитуры и пользователя. Никаких контроллеров! Камеры точно анализируют направления вашего взгляда, который действует как курсор мышки; жесты нажатия, прокрутки, масштабирования выполняются пальцами. И все это интуитивно, как в iPhone!

Интересно, как реализован выбор предмета: когда человек на чем-то фокусируется, то зрачок глаза увеличивается, ожидая выполнения действия, и это микродвижение улавливают камеры гарнитуры.

Для чего Apple планирует использовать очки Vision Pro?

В первую очередь как развитие экосистемы своих устройств: сделать более удобным выполнение задач пользователя. Например, вы можете прямо из очков делать фотографии и снимать видео, причем оно будет стереокачества и передавать глубину.

Удобно выполнять свои рабочие дела: теперь вам не нужен физический монитор, вы можете в любом месте – на пляже, в самолете или в кофейне открывать необходимое количество виртуальных 200-дюймовых мониторов и выводить на них документы со своего MacBook. Точность картинки точно будет идеальной, ведь разрешение очков в 64 раза больше разрешения iPhone, 4k на каждый глаз!

А как могут развиться сервисы для видеообщения! Очки делают 3D-модель лица, которую анимируют считываемыми эмоциями и которую легко "натянуть" на любые аватары. Это решит проблему с выключенными камерами на созвонах команд и позволит передавать эмоции собеседникам, чего так не хватает при дистанционной работе, и даже включенные камеры не могут передать их полноценно. Если посмотреть в перспективе, то, используя очки
совместно с нейросетями, которые создают изображения, типа Midjorney, могут появиться приложения, которые будут переодевать людей в различные одежды, перерисовывать реальную картинку в офисе, например, в средневековый замок, наряжать ваших собеседников в одежды рыцарей или принцесс, проводить совещание в космосе в телах инопланетян.

Когда Vision Pro станет частью обыденности?

Конечно, массово гарнитуру мы еще не видели, и выйдет она только в 2024 г. по цене 3 500 долларов. Но это лишь первая версия, показ потенциальных возможностей, которые уже впечатляют. Как написал технический журналист Дэвид Пог, "через пять лет [Vision Pro] не будет стоить 3 500 долларов. Это станет стандартным дорогостоящим вариантом подарка на день рождения/праздник вашего ребенка, супруга или родителя, точно так же, как сейчас Apple Watch или AirPods".

Есть все основания полагать, что появление Vision Pro станет революцией, которая отменит мониторы, как в свое время мониторы отменили перфокарты.
Все-таки Apple смогла опять think different – думать иначе, полностью пересмотреть текущее понимание шлемов и очков виртуальной реальности, которые продаются на рынке, и сделать устройство, которое потенциально сделает смешанную реальность массовой, как в свое время iPhone перенес нас в онлайн.

Если немного пофантазировать, имея в виду тренд на уменьшение устройств, то на пределе технологии мы получим нейрочип, который позволит нам постоянно жить в смешанной реальности, мгновенно получая любые подсказки и советы от систем типа ChatGPT.

Эксперт редакции журнала "Системы безопасности"