使用丰富的 LLM 集成来增强 Muse 聊天的相关性和可靠性
Unity Muse 通过人工智能功能帮助您探索、构思和迭代实时 3D 体验。Muse Chat 是您可以用来加速创作的多种工具之一。Muse Chat 将 Unity 知识和编辑器意识带到您的指尖，成为您的助手，为您提供有用的信息，包括调试建议、使用代码生成初稿等，所有这些都与 Unity 编辑器和您的项目息息相关。
为了向您展示 Muse Chat 究竟是如何设计来提供有用的解决方案的，我们将带您一探究竟，看看我们是如何构建计划以生成回复的。我们还将向您介绍我们目前对法律硕士课程的探索和即将进行的开发。
Muse Chat 是由多个不同系统和大型语言模型 (LLM) 集成而成的管道，用于查询规划和不同信息的仲裁。对于收到的每个请求，Chat 都会根据您提供的编辑选择或信息以及您试图解决的问题，制定一个行动计划，概述即将作出的回应的格式。
"我使用 Muse 作为我的私人助理，自己构建和编码一切。当然，我也得到了同事们的支持，但如果没有 Muse 在我身边，我想我不可能在这么短的时间内取得这样的成绩"。
- 太空追击》创作者杰西卡-索萨
在制定可靠的对策时，有两个挑战。一个是检索相关信息以建立回复，另一个是根据对话的背景和历史，确保将这些信息有用地嵌入回复中。
Muse Chat 的知识库汇集了 800,000 多条信息，如文档章节或代码片段，可以应对这两个挑战。这些信息块经过处理，并参考了周围的信息，从而使每个信息块都成为一个有用的、独立的信息单元。它们既有内容，也有其独特的背景，并通过文献资料进行了追溯。它提供了系统的透明度和可解释性，并能有效检索兼容信息。请参阅下图和说明，了解我们当前管道的其他结构。
- 请求：您的请求已收到。
- 编辑背景：如果您在编辑器中，则会从编辑器中动态提取相关上下文，并请求向 Muse 提供适当的信息。
- 查询扩展：初始规划系统执行查询扩展，目的是得出精确的计划。我们指示 LLM 尽最大努力复制知识目录格式，并为每个步骤重新创建理想的块结构。通过这种方法，系统可以计算出一种嵌入方式，从而捕捉到我们正在寻找的信息块所需的上下文、内容和用例。每个计划步骤都用于细粒度语义检索。
- 知识检索：为了找到相关信息，我们使用对称语义检索和元数据过滤来检索知识目录中与查询扩展阶段确定的理想估计块最相似的块。
- 配方：为了生成最终回复，我们使用另一个 LLM 来编写回复，它基于详细的大纲，其中既包含经过筛选的原始计划步骤，也包含传达相关基本信息所需的来源。
- 答复：Muse Chat 给出了答复。
为了深入了解在编辑器中提供 Muse 聊天功能背后的工作，我们介绍了管道的第二步，即编辑器上下文提取。将其添加到管道的最开始，我们就会分析查询以确定要从编辑器中提取哪些内容，并对其进行解析，以通知 Muse 下一步的操作。根据您的反馈，我们从项目设置、项目设置、GameObjects/Prefabs 和控制台访问开始。
现在，如果您遇到带有警告或信息的控制台错误，只需单击控制台中的相关行，即可将错误添加到您的选择中。在下面的示例中，由于脚本中缺少大括号，我们触发了一个错误。
举个简单的例子，在编辑器的新对话中回答 "如何创建一个可编写脚本的功能并将其添加到通用渲染器中？这将转化为计划步骤：
- 请求："如何创建适合我的渲染管道的可脚本功能？
- 编辑背景：Muse 可以识别使用的渲染管道、运行的 Unity 版本以及与问题相关的项目设置。然后，它会提取动态上下文，以及您可能拥有的任何编辑器选项。
- 查询扩展：LLM 生成包含以下计划步骤的计划：
介绍 URP 可编写脚本功能的概念和目的。
解释在 URP 中创建脚本功能的步骤。
提供一个示例，说明如何将脚本功能添加到通用渲染器中。
- 知识检索：在本例中，通过以下步骤从嵌入式系统中检索信息，即可满足请求。
- 配方：LLM 调解最终反应。
- 答复：您会得到一个答案，如下所示，同时还有一个代码片段。
在上述涉及 URP 的示例中，最终的响应计划由以下部分组成：URP文档中 "什么是可编写脚本的渲染器功能"部分的介绍、"创建可编写脚本的渲染器功能并将其添加到通用渲染器"中的分步说明，以及最终将自定义渲染器功能添加到通用渲染器资产的小节中的说明。
这样，我们就能有效地将来自 LLM 基础知识的通用信息与来自第一方来源的与推荐方法或实施细节相关的特定统一性知识进行交换。虽然在使用 LLM 时，有时难免会出现不准确的信息，但我们的系统依靠可信的统一性知识，最大限度地降低了不准确信息出现的频率。
我们正在努力开发一个由特定任务模型组成的广泛生态系统。随着我们扩大与编辑器的互操作性，我们希望能够加快工作流程，更好地满足您的需求。我们认为，要做到这一点，关键在于接受和培养一种文化，使我们能够迅速适应研究和行业发展，进行快速实验。
Muse Chat 可在编辑器中作为人工智能辅助创作的伴侣。我们目前正在努力扩展您在编辑器中可以选择的上下文内容，包括完整的层次结构和项目窗口，以及游戏对象的相关代码。此外，我们还投资于广泛的系统改进，提高我们在 Unity 知识和代码生成方面的性能基准，并为未来启用代理行为做准备，以便 Muse 可以在编辑器中代表您执行操作。
在 GDC 上，我们展示了如何在URP 示例项目的花园场景中同时使用 Muse 的所有五种功能来定制游戏循环。查看我们的课程"Unity Muse：使用 AI 加速 Unity 编辑器中的原型开发"了解如何使用 Muse 的所有功能快速定制项目场景和游戏玩法。随着我们对 Muse Chat 进行新的改进，Muse 功能之间的互操作性只会越来越强。
我们更新了 Muse 的入职体验，让您更轻松地开始免费试用Muse 并将 Muse 软件包添加到您的项目中。请访问新的Muse Explore 页面开始使用，并告诉我们您对讨论区最新功能和改进的看法。