词汇表

合成数据生成

为方便起见,此网页已进行机器翻译。我们无法保证翻译内容的准确性或可靠性。如果您对翻译内容的准确性有疑问,请参阅此网页的官方英文版本。

什么是合成数据生成?

合成数据生成是创建人工数据(如图像、传感器读数、文本或表格)的过程,这些数据捕获了现实世界数据的模式或特征。在人工智能中,When真实世界数据稀缺、敏感、收集或Label成本高昂,或难以安全获取时,会使用合成数据来Train和测试模型。

合成数据不一定包含真实人物或事件的记录。然而,根据所使用的方法,从现实世界来源生成的数据有时会重现敏感信息。

合成数据生成是如何工作的?

基于仿真的合成数据生成成常用于图像和传感器数据。它可能涉及几个步骤:

  1. 构建 Environment:创建一个代表与人工智能System相关的物体、Environment和传感器的3DScene或数字孪生。
  2. 随机化:改变诸如 Lighting、对象位置、Textures、Camera 角度和环境条件等因素,以增加 dataset 的多样性。
  3. 捕获渲染来自模拟Environment的图像、视频或传感器数据,例如Depth和激光雷达数据。
  4. 自动标签:直接从模拟中Generate诸如边界框形、分割掩码和对象位置等Annotations。
  5. 验证评估ON合成数据上训练的模型与真实世界数据进行比较,并改进模拟以解决两者之间的差异。

例如,一个制造研究Team可以创建一个工厂的数字孪生体,并使用它为人工智能系统Generate成带标签的训练数据。韩国工业技术研究院(KITECH)使用 Unity Industry 为一个金属铸造厂构建了数字孪生体,并开发了用于制造AI的合成数据管道,在一个为期 14 周的项目中,为人形机器人协作AI生成了超过 100,000 个 RAW 帧。

什么是主要的合成数据生成技术?

合成数据可以使用多种方法生成,具体取决ON数据类型和预期使用:

技术
仿真和3D渲染
工作原理
从虚拟环境中生成数据,并能自动提供精确的标签和Annotations
最适合
计算机视觉、机器人、自主系统
生成式AI模型
工作原理
从训练数据中学习模式并使用它们来生成新的样本。例子包括 GAN、VAE、扩散模型和 Transformer
最适合
图像、文本、音频和表格数据
统计和基于规则的方法
工作原理
从统计分布中获取样本或应用定义的规则和约束来生成新记录
最适合
表格数据、模拟和软件测试

不同的技术也可以结合使用。例如,生成模型可以创建用于基于模拟的数据生成的 3D Assets 或环境。

合成数据和真实数据有什么区别?

合成数据和真实世界数据有不同的优势和局限性,因此许多 Projects 使用两者的组合。

音频源
合成数据
由模拟、统计方法或生成模型生成
真实世界数据
从传感器、Users、交易或其他现实世界来源收集
标签
合成数据
可以根据已知的标签或元数据自动生成,具体取决于生成方法
真实世界数据
可能需要手动标记、自动标记或结合使用这些方法
隐私
合成数据
可以减少对个人或敏感信息的Exposure,具体取决于其生成和验证方式
真实世界数据
可能包含需要适当保护的个人或敏感信息
罕见事件
合成数据
可以生成或模拟以代表不常见或难以捕捉的场景
真实世界数据
收集足够数量的罕见事件可能很困难或很昂贵
局限性
合成数据
可能无法准确代表现实世界条件或分布
真实世界数据
可能包含 Bias、空白、噪点或隐私和监管约束

合成数据有什么用途?

合成数据被广泛应用于各行各业,用于Train和测试人工智能模型、模拟困难或不常见的情景,以及在真实世界数据有限、敏感或昂贵When开发系统。

  • 计算机视觉使用自动生成Annotations的图像来Train对象检测、分割和动作估计模型。
  • 机器人学在真实世界部署之前,通过机器人模拟等方式训练机器人感知和与模拟环境中的物体交互。
  • 自动驾驶Vehicles:生成并测试在真实道路上难以或不安全捕捉的、不常见或危险的驾驶场景。
  • 制造业使用工厂模拟和Digital Twins来生成用于检测、自动化和人机协作的训练数据。
  • 软件测试:在不使用实际客户记录的情况下Generate逼真的测试数据。
  • 医疗保健和金融:根据合成数据生成和验证的方式,生成用于测试、研究或模型开发的数据,同时减少对敏感信息的暴露。

合成数据生成的益处是什么?

  • 按需缩放ON不完全依赖真实世界数据收集的情况下Generate大量数据。
  • 自动标记:根据生成方法自动生成注释或元数据,减少手动标注的需求。
  • 减少对敏感数据的暴露:合成数据集可以减少使用或共享真实Personal或敏感记录的需求。
  • 边缘案例覆盖:Generate或模拟在现实世界中可能难以捕捉的、不常见、危险或昂贵的场景。
  • 数据集多样性:When生成的数据准确反映相关的现实世界变化时,请添加代表性不足的场景或条件,以提高dataset集的覆盖范围。

合成数据生成面临哪些挑战?

  • 仿真到现实的差距:ON模拟数据上训练的模型在现实世界条件(如Lighting、Textures、Physics或传感器噪点)与模拟数据存在差异When可能会遇到困难。
  • 验证工作:团队需要评估合成数据是否充分代表模型将遇到的条件,通常是通过测试真实世界数据来实现的。
  • 遗传偏见:从有偏见的源数据或假设生成的合成数据可能会复制或放大这些偏见。
  • 隐私不是自动的:从真实记录生成的合成数据有可能重现敏感信息,因此可能需要进行适当的隐私和重新识别测试。

常见问题解答 (FAQ)

合成数据和假数据一样吗?

不太对。合成数据是人工生成的,用于重现现实世界数据相关的模式或特征。它可以为指定的用途而设计,例如训练人工智能模型、测试软件或模拟现实世界条件。Dummy 数据通常用于测试或 Development,不一定旨在反映现实世界的模式。

AI 模型是否只能用合成数据进行训练?

在某些情况下,Yes的。模型是否能仅使用合成数据有效训练,取决ON任务、数据的质量和多样性,以及它与模型将遇到的条件有多接近。结合合成数据和真实世界数据可以帮助提供更广泛的覆盖范围,同时允许模型在真实世界条件下进行评估。

合成数据总是私密的吗?

不是自动的。从真实记录生成的合成数据,如果生成过程记忆或密切复制了音频源示例,则有可能重现敏感信息。适当的隐私测试可以帮助在数据共享之前识别这些风险。从虚拟环境中生成的基于模拟的数据并Start自Personal记录,尽管其隐私Properties仍取决ONSystem的创建方式和Assets的创建方式。

相关术语

计算机视觉(Computer Vision)

电影级虚拟现实意味着一种沉浸式视频体验,观众可以在360度范围内环顾四周,但无法与环境互动或在其中移动,通常用于讲故事、建筑漫游或教育内容。

机器学习

人机界面(HMI)提供直观的视觉和交互系统,使操作员能够高效地监控和控制制造、汽车和其他工业应用中的复杂设备或过程。

数字孪生

数字孪生意味着一个数据丰富的物理对象或系统的虚拟复制品,它模拟现实世界的行为,从而在建筑和制造等行业中实现更好的设计、测试和运营管理。