与 Owlchemy 实验室一起展望空间计算前景

我们正在进入空间计算的新时代，在这个时代，强大的扩展现实（XR）工具和灵活的工作流程可以让开发人员在编辑器中添加交互、缩放图形、制作原型并进行测试。在2024 年 Unity 游戏报告中，我们预测对 XR 游戏的需求会更大，许多参与研究的工作室也同意这一预测。

Unity 的资深倡导者 Antonia Forster 与Owlchemy Labs的首席执行官 Andrew Eiche 进行了交谈，了解他对空间计算未来的看法以及为 Apple Vision Pro 开发的实用技巧。

安东尼娅-福斯特嗨，安德鲁，谢谢你的参与。让我们从展望未来开始。您认为 VR 和空间计算的未来会怎样？

安德鲁-艾切我们正在做的最大一件事，就是将 XR 设备用作通用空间计算环境，以完成特定领域的任务，而苹果 Vision Pro 和 Meta 操作系统的变化则是其中的佼佼者。我们正在尝试解决如何在 VR 中完成通用工作负载与极其特殊的工作负载之间的范式问题。

当我们真正想在 XR 中工作时，它是什么样子的？我们正在尝试将现有的任务转移到空间环境中的相同范式中。希望开发人员能尽快适应，我们也能了解这种媒体的广度和深度。

这对我们来说非常重要，这样我们才能发现技术的实用性和直观性。在这一行业中，平台可根据这些标记进行分类，最有可能被采用的平台属于高实用性和高直观性象限。对于 VR，我们希望确保它朝着这个方向发展--高度有用、高度直观，即手机、个人电脑和智能电视所处的象限。

展望未来，对空间计算的思考有助于提高 VR 的实用性，但我们仍需努力提高其可实现性。我们如何做到这一点？我们改变了主要输入载体，以适应玩家最关注的平台：移动平台。在此基础上，我们需要集中精力消除手部追踪带来的摩擦，让耳机更轻便，并获得更好的光学性能。

您谈到了技术的发展。您认为未来几年还有哪些技术趋势会对 XR 产生影响？

高斯喷溅技术令人难以置信，我认为它的下一步将是更好地捕捉和制作动画。我们在三维捕捉时解决了一个错误的问题，我们以为只要覆盖空间和摄像头，或者使用光场就可以了，但其实有些东西效果更好，比如透明高斯。我认为，我们将看到一个巨大的推动力，并找出我们将如何优化它。

我也认为人工智能会产生影响。我期待的一个非常有趣的用例是，我们不必渲染整个画面，只需渲染其中的一部分即可。如果我们渲染 30%，然后将其交给张量处理单元 (TPU)，让它根据前后的所有数据进行填充呢？突然之间，我们耳机中的图形芯片就具备了 PC 功能。这就是英伟达 RTX™ 的反射原理，因此我们已经在这条路上走了下去。

此外，人工智能还能填补重量绘制的空白，或者看到生成式人工智能有可能取代最佳拟合算法，成为一种过渡。最佳拟合算法有碎片可以构建，如果最佳拟合在碎片的中间位置，那么使用生成式人工智能将滑块移动到中间位置就会很有趣、很有用，而且还能让艺术家进行控制。这对于那些希望专注于关键姿势而不愿意花时间进行过渡的动画师来说是个不错的选择。人工智能可以在这方面提供帮助，然后动画师可以进行清理。

感谢您的真知灼见！根据 XR 领域的发展趋势，您对进入空间计算时代的开发人员有何建议？

从交互设计的角度来看，你需要分解与某物交互的方式，而不是试图把方钉塞进圆孔。对于开发人员来说，跃跃欲试并深入其中很有诱惑力，但作为一名新开发人员，我建议慢慢接近空间计算。慢慢堆积正确的积木。

例如，在移植 工作模拟器时，我们首先考虑了使用操作系统级交互的合适时机。当我们为 Apple Vision Pro 版本设置 SwiftUI 窗口时，我们曾讨论过何时使用 "捏合"。我们非常关注苹果是如何使用它的，因为他们对何时使用它以及使用它的目的有非常明确的规定。

当你不与窗口交互时，你是在与 3D 物体交互。在这一点上，你不能再把它看成是二维显示器上的一个应用程序，而更应该把它看成是为现实世界中的物品进行的实物产品设计。遵循现实世界的物体设计原则，以直观的方式设计物体。确保持续测试用户体验，并认识到只有在真实空间、真实设备上与真实用户一起测试游戏时才是最重要的。你需要做这项工作。

关键是你要把它拿在手中，并让其他人与之互动。我建议分配充足的时间进行修改。在不同的平台上会有不同的体验。规格可能不同，灵活掌握很重要。

最后，VR 的特别之处在于如何探索它。我们的 "探索 "包括坐在有封闭抽屉的书桌前翻找。拿起每一件物品，看看它是如何工作和互动的，是一件非常有趣的事情。玩家喜欢这种互动的一个重要原因是，我们把东西交到了他们的手中，让他们能够真正弄乱周围的世界，并发现这个世界是什么样的。我们不是让他们与遥远的东西互动，也不是让他们与断开的东西互动。

在空间计算技巧方面，您有什么建议给那些希望为 Apple Vision Pro 移植或开发游戏的开发者？在移植《工作模拟器》时，您使用Unity 的 visionOS 支持的体验如何？

我们一直在与 Unity 和 Apple 紧密合作，并就实现我们的希望和愿景的最佳方式达成一致。我们很快就在 Apple Vision Pro 上运行了 "工作模拟器"，其使用方法与 iOS 中的构建方法类似。其中一个需要花时间解决的问题是，如何让它成为一个完全身临其境的游戏。Unity 必须调用一个函数，将我们想要的输出传达给苹果操作系统。在此之前，我们一直遇到一个平面窗口，如果你关闭它，游戏就结束了。

我们正在开发一款完全身临其境的游戏，而作为一个通用计算操作系统，退出游戏对我们来说是一件新鲜事。当我们把它放到 Quest 上时，它真的是二进制的，游戏要么运行，要么不运行。突然间，在 Apple Vision Pro 上，我们使用了这款游戏可以进入后台的设备，而我们需要做的工作就是找出如何真正离开应用程序。

我的建议是，要真正做到合作和开放。你永远不知道何时会有人能解决你遇到的瓶颈问题。这不仅对你有好处，对整个社会也有好处。我们在讨论论坛、开票和与 Unity 沟通方面都非常活跃。这有助于我们找到同时惠及社区其他成员的解决方案。在那里提交错误报告为我们提供了与其他情况类似的开发人员合作的机会。这无疑加快了我们的学习曲线，对我们推进开发工作大有裨益。

在采访的最后，我想给大家带来一点启发和见解。你在 visionOS 开发中学到的最有价值的东西是什么？

多年来，我们一直在两个生态系统中生存--Windows PC 和 Android。在转而开发与其他苹果操作系统有许多相似之处的 visionOS 的过程中，我们了解到我们在哪些地方做了假设，并以一种可能不正确的方式对操作系统稍加依赖。我们找出了可以做得更好的地方。

另一个需要牢记的重要见解是 Facetime 和共享屏幕的价值，它可以向其他人展示你的体验，比如，用于调试。这个屏幕就是你的应用程序正在运行，你的代码正在运行，其他人可以完美地看到你的视图。其他耳机很难做到这一点，而 Apple Vision Pro 却毫不费力地做到了。这是我的快速提示。

想了解更多吗？请阅读我们最新的2024 Unity 游戏报告， 并查看本视频播放列表， 其中专家创作者将讨论今年最大的游戏开发趋势。

如果您已准备好深入了解 Unity 对 Apple Vision Pro 的支持，您可以从其他为 Apple Vision Pro 进行开发的开发人员那里获得技巧，并在AR/VR/XR 讨论区分享您的反馈意见。.