Взгляд вперед на пространственные вычисления с Owlchemy Labs
Мы вступаем в новую эру пространственных вычислений, когда надежные инструменты расширенной реальности (XR) и гибкие рабочие процессы позволяют разработчикам добавлять взаимодействия, масштабировать графику, создавать прототипы и тестировать в редакторе. ВОтчет о Unity Gaming за 2024 годмы прогнозируем рост спроса на игры XR, и многие студии, участвующие в разработке, согласны с этим прогнозом.
Старший консультант Unity Антония Форстер встретилась с Эндрю Эйхе, CEOwl компании Owlchemy Labs, чтобы узнать его мнение о будущем пространственных вычислений и практические советы по разработке для Apple Vision Pro.
Антония Форстер: Привет, Эндрю, спасибо, что присоединились ко мне. Давайте начнем с того, что заглянем в будущее. Каким вы видите будущее VR и пространственных вычислений?
Эндрю Эйхе: Одним из важнейших направлений является использование устройств XR в качестве общей пространственной вычислительной среды для решения специфических задач. В этом нам помогут Apple Vision Pro и изменения в операционной системе Meta. Мы пытаемся решить парадигму: как выполнять общую нагрузку в VR, а не специфическую.
Как это будет выглядеть, если мы действительно захотим работать в XR? Мы пытаемся взять существующие задачи и перенести их в идентичную парадигму в пространственной среде. Надеюсь, разработчики быстро освоятся, и мы сможем понять, насколько широка и глубока эта среда.
Это очень важно для нас, чтобы выявить полезность и интуитивность технологии. В этой отрасли платформы распределяются по спектру этих признаков, и те из них, которые имеют наибольший потенциал для внедрения, находятся в квадранте высокой полезности и высокой интуитивности. С VR мы хотим, чтобы он двигался именно в этом направлении - очень полезный и очень интуитивный, в квадрант, куда попадают телефоны, ПК и умные телевизоры.
Если заглянуть в будущее, то мысли о пространственных вычислениях помогут сделать VR более полезным, но нам еще нужно поработать над его достижимостью. Как нам это сделать? Мы изменили вектор первичного ввода, чтобы он соответствовал платформе, на которой игроки сосредоточены больше всего: мобильной. В дальнейшем нам нужно сосредоточиться на устранении трений, связанных с отслеживанием движения рук, облегчении гарнитуры и улучшении оптики.
Вы говорили об эволюции технологий. Как вы думаете, какие еще технологические тенденции могут повлиять на XR в ближайшие несколько лет?
Гауссово разбрызгивание - это невероятно, и я думаю, что следующим шагом для него будет создание лучшего захвата и анимации. Мы решили неправильную проблему с трехмерной съемкой, когда предположили, что если просто покрыть пространство и камеры или использовать световые поля, то все будет отлично, но есть что-то, что работает лучше, например прозрачный гаусс. Я думаю, что мы увидим огромный толчок в этом направлении и выясним, как мы будем его оптимизировать.
Я также думаю, что ИИ окажет влияние. Один из действительно интересных вариантов использования, который я жду, - это когда нам не нужно будет рендерить весь кадр, а только его часть. А что, если мы отрендерим 30 %, а затем передадим его на Tensor Processing Unit (TPU), и он просто заполнит его, основываясь на всех данных, которые у него есть до и после? Внезапно графический чип, который находится в нашей гарнитуре, теперь способен работать на ПК. Буквально так работают отражения в NVIDIA RTX™, так что мы уже идем по этому пути.
Кроме того, ИИ заполняет пробелы в рисовании веса, а генеративный ИИ может заменить алгоритм наилучшего подбора в качестве твининга. У алгоритма наилучшего соответствия есть части, из которых можно строить, и если оптимальное соответствие находится на полпути между частями, то использование генеративного ИИ для перемещения ползунка на полпути будет интересным, полезным и контролируемым художником. Это отлично подходит для аниматоров, которые хотят сосредоточиться на выполнении ключевых поз и не тратить время на создание твинов. ИИ может помочь в этом, а затем аниматор может приступить к работе и все исправить.
Спасибо за понимание! Судя по тому, как развивается сфера XR, что вы посоветуете разработчикам, вступающим в эту эру пространственных вычислений?
С точки зрения дизайна взаимодействия, вам нужно разложить по полочкам то, как вы взаимодействуете с чем-то, и не пытаться впихнуть квадратный колышек в круглое отверстие. У разработчиков есть соблазн сразу же броситься в бой и глубоко погрузиться в него, но я, как начинающий разработчик, рекомендую подходить к пространственным вычислениям постепенно. Не торопитесь укладывать правильные строительные блоки.
Например, при переносе Job Simulatorмы начали с размышлений о том, в какое время лучше использовать взаимодействия на уровне операционной системы. Когда мы размещали окно SwiftUI для версии Apple Vision Pro, мы обсуждали, когда использовать пинч. Мы действительно следили за тем, как Apple использует его, потому что они очень подробно описывают, когда и для чего его использовать.
Когда вы не взаимодействуете с окном, вы взаимодействуете с 3D-объектом. На этом этапе вам нужно перестать думать о нем как о приложении на двухмерном мониторе, а скорее как о дизайне физического продукта для реального объекта. Проектируйте объекты интуитивным способом, следуя принципам проектирования реальных объектов. Убедитесь, что вы постоянно тестируете свой пользовательский опыт, и поймите, что единственное, что имеет значение, - это когда игра действительно тестируется реальными пользователями в реальном пространстве, на устройстве. Вам нужно выполнить работу.
Главное, чтобы вы держали ее в руках и чтобы с ней взаимодействовали другие. Я рекомендую выделить достаточно времени на модификацию. На разных платформах ощущения могут быть разными. Спецификации могут отличаться, поэтому важно быть гибким.
И наконец, особенность VR заключается в том, как ее исследовать. Наша версия исследования включает в себя посиделки за столом с закрытыми ящиками и возможность порыться в них. Невероятно интересно брать в руки каждый предмет и смотреть, как он работает и взаимодействует. Одна из главных причин, по которой игроки предпочитают такое взаимодействие, заключается в том, что мы даем им в руки предметы и позволяем по-настоящему поиздеваться над окружающим миром и узнать, что он из себя представляет. Мы не заставляем их взаимодействовать с чем-то, что находится далеко или от чего они оторваны.
Если говорить более детально о советах по пространственным вычислениям, что бы вы посоветовали разработчикам, которые хотят портировать или разрабатывать игры для Apple Vision Pro? Как вам удалось использовать поддержку VisionOS в Unity при портировании Job Simulator?
Мы тесно сотрудничаем с Unity и Apple, согласовывая наилучший способ воплотить наши надежды и видение в жизнь. Мы быстро запустили Job Simulator на Apple Vision Pro и использовали его аналогично созданию в iOS. Одна из вещей, на которую ушло некоторое время, - это создание игры с полным погружением. Unity должна была вызвать функцию, которая передавала бы желаемый результат операционной системе Apple. До этого мы постоянно сталкивались с плоским окном, и если вы закрывали его, игра заканчивалась.
Мы разрабатывали игру с полным погружением, и для нас, как для операционной системы общего назначения, выход из игры был в новинку. Создавая игру для ПК, мы никогда не делали второго шага выхода из приложения, поскольку игрок мог просто нажать кнопку X. Когда мы ставили игру на Quest, она была действительно бинарной, и игра либо запускалась, либо нет. Внезапно на Apple Vision Pro мы оказались на устройстве, где игра может уйти в фон, и нам пришлось потрудиться, чтобы понять, как на самом деле выйти из приложения.
Мой совет - будьте по-настоящему готовы к сотрудничеству и открыты. Никогда не знаешь, когда у кого-то появится решение проблемы, с которой вы столкнулись. Это полезно не только для вас, но и для общества в целом. Мы очень активны на форумах "Обсуждения", открываем тикеты и общаемся с Unity. Это помогает нам находить решения, которые приносят пользу и остальным членам общества. Отправляя туда отчеты об ошибках, мы получаем возможность работать с другими разработчиками, которые находятся в похожей ситуации. Это определенно ускоряет процесс обучения и помогает нам продвигать разработку вперед.
В завершение интервью я хотел бы поделиться с вами последней порцией вдохновения и понимания для нашего сообщества. Что самое ценное из того, что вы узнали о разработке visionOS, вы возьмете с собой в следующий проект Apple Vision Pro?
В течение многих лет мы существовали в двух экосистемах - Windows PC и Android. Перейдя к разработке для visionOS, которая имеет много общего с другими операционными системами Apple, мы узнали, в каких местах мы сделали предположения и немного больше полагались на операционную систему в потенциально неправильном направлении. Мы поняли, где мы могли бы работать лучше.
Еще один ключевой момент, о котором следует помнить, - это ценность Facetime и совместного использования экрана, чтобы показать другим людям, что вы испытываете - например, для отладки. На этом экране работает ваше приложение, выполняется ваш код, и другие могут прекрасно видеть ваш вид. Это то, что, как известно, трудно сделать другим гарнитурам, а Apple Vision Pro делает это без особых усилий. Это мой быстрый совет.
Хотите узнать больше? Читайте наш новыйотчет2024 Unity Gaming Report, а также посмотрите этот видеоплейлист, в котором эксперты обсуждают крупнейшие тенденции в разработке игр этого года.
Если вы готовы погрузиться в поддержку Apple Vision Pro в Unity, вы можете получить советы от других разработчиков, разрабатывающих для Apple Vision Pro, и поделиться своими отзывами на форуме для обсуждения AR/VR/XR.