Глаза, руки, моделирование и образцы: Что нового в Unity XR Interaction Toolkit 2.3
XR Interaction Toolkit (XRI) - это высокоуровневая, основанная на компонентах система взаимодействия для создания VR и AR впечатлений. Он обеспечивает общую основу для взаимодействия и упрощает создание кросс-платформенных приложений. В этом обновлении добавлены три ключевые функции: отслеживание взгляда и движения рук для более естественного взаимодействия, аудиовизуальные возможности для оживления взаимодействия и улучшенный симулятор устройств для тестирования в редакторе. Чтобы помочь вам начать, давайте рассмотрим каждое дополнение более подробно.
Для получения более подробной информации об обновлении ознакомьтесь с тем, что нового в XRI 2.3, или изучите пример проекта.
Разработчик XR и основатель LearnXR.io Дилмер Валециллос (Dilmer Valecillos) подготовил потрясающий видеоурок по XRI 2.3:
Вместе с XRI 2.3 мы поставляем пакет Unity XR Hands в предварительной версии. XR Hands - это новая подсистема XR, которая добавляет API для отслеживания рук в Unity. На момент выпуска в него встроена поддержка OpenXR, а вскоре появится поддержка Meta-платформ. Кроме того, внешние поставщики оборудования могут передавать данные отслеживания рук из имеющегося у них XR SDK, следуя документации по API.
Этот выпуск XRI включает в себя демонстрацию взаимодействия рук, пример пакета, демонстрирующего настройку взаимодействия рук, где вы можете переключаться между руками и контроллерами, не меняя ничего в сцене на устройстве. Используя эту функциональность, ваш контент может начинаться со стандартной настройки контроллера, но плавно переходить в руки для выполнения определенных задач или естественных взаимодействий в игровом процессе.
XRI 2.3 также поддерживает естественное взаимодействие с помощью XR Poke Interactor. Это позволяет вам тыкать руками или контроллерами в элементы 3D UI или UGUI Canvas с поддержкой XRI.
Новые гарнитуры, такие как HoloLens 2, Meta Quest Pro и PlayStation® VR2, оснащены датчиками, отслеживающими, куда смотрит пользователь. Взаимодействие на основе взгляда поможет вам создать приложения для XR, которые будут выглядеть более естественно и обеспечат дополнительный способ взаимодействия с контентом. Для поддержки этого типа взаимодействия мы представили интерактор XR Gaze Interactor, управляемый взглядом глаз или взглядом головы. Вы можете использовать этот интерактор для прямых манипуляций, таких как наведение курсора или выделение при наведении курсора на интерактивные элементы.
Поскольку мы обычно не рекомендуем управлять приложениями исключительно глазами, мы ввели дополнительную форму контроллера и помощи при взаимодействии с руками, чтобы помочь пользователям выбирать конкретные объекты: XR Interactable Snap Volume. Этот компонент дополняет интерактор взгляда, поскольку позволяет привязывать взаимодействия к близлежащему интерактору при наведении на определенную область вокруг объекта. Привязка объемов также может использоваться без интерактора взгляда, чтобы облегчить пользователям выбор объектов.
Компания Tobii, мировой лидер в области технологий отслеживания движения глаз, помогла разработать концепцию и провести исследование. Если вам интересно узнать больше, вы можете просмотреть их базу знаний о концепциях отслеживания движения глаз.
Использование рук для взаимодействия отличается от использования контроллеров тем, что здесь нет тактильной или осязательной обратной связи, подтверждающей факт взаимодействия. Система аффорданса - набор исполняемых компонентов, которые анимируют объекты или запускают звуковые эффекты в ответ на состояние взаимодействия с объектом - помогает устранить этот пробел в обратной связи. Эта система создана для работы с любой комбинацией интеракторов и интерактивных объектов как в новых, так и в существующих проектах.
Новый трансформатор XR General Grab Transformer снижает сложность иерархии и позволяет использовать один трансформатор общего назначения для поддержки взаимодействия одной и двух рук с взаимодействующим объектом, а не несколько трансформаторов захвата. Кроме того, он позволяет масштабировать объекты двумя руками, разводя руки в стороны или сводя их вместе, подобно увеличению или уменьшению масштаба на мобильном телефоне.
Мы также добавили компонент Interaction Group. Такое поведение позволяет разработчику группировать интеракторы вместе и сортировать их по приоритету, что позволяет взаимодействовать только одному интерактору в группе в данный момент времени. Например, когда интеракторы Poke, Direct и Ray сгруппированы вместе, нажатие на кнопку временно блокирует взаимодействие других интеракторов со сценой. Это поможет вам случайно не схватить что-то поблизости, когда вы работаете на расстоянии, и предотвратит попадание лучей в сцену, когда вы хватаете или протыкаете объект вблизи.
Тестирование приложений XR на гарнитуре очень важно, но тестирование в редакторе помогает сократить время итераций. В этом выпуске симулятор устройств XR получил значительное обновление удобства использования с новым экранным виджетом пользовательского интерфейса, который облегчает просмотр того, какие входы управляют симулятором и какие из них активны в данный момент.
Также были добавлены новые режимы симуляции, чтобы вы могли переключаться между часто используемыми режимами управления. При запуске симулятор устройства активирует новый режим шутера от первого лица (FPS), который управляет гарнитурой и контроллерами так, как будто весь игрок поворачивает свое туловище. Затем вы можете переключиться в другие режимы, чтобы управлять отдельными устройствами: гарнитурой, левым и правым контроллером. Чтобы использовать симулятор устройств XR, импортируйте образец из менеджера пакетов.
Мы долго ждали этого момента, и вот, наконец, наш обновленный образец проекта. Он демонстрирует множество строительных блоков для создания опыта XR, которые можно использовать в XRI 2.3. Проект разделен на станции, которые помогут вам понять, как работает каждая основная функция XRI, и включает в себя как простые, так и сложные примеры для каждой из них. Вы можете получить доступ к образцу проекта на GitHub и использовать его для запуска своего следующего приложения для XR.
Хотя для глаз и рук в XR Interaction Toolkit еще рано, мы постоянно работаем над тем, чтобы упростить создание выразительных XR-опытов. По мере продвижения XRI 2.4 и последующих версий мы будем благодарны за ваши отзывы. Мы также хотели бы увидеть, что вы создадите с помощью этих инструментов, поэтому не стесняйтесь указывать хэштег #unityXRI при публикации в социальных сетях.