Tạo dữ liệu tổng hợp

Tạo dữ liệu tổng hợp là gì?

Tạo dữ liệu tổng hợp là quá trình tạo ra dữ liệu nhân tạo, chẳng hạn như hình ảnh, dữ liệu cảm biến, văn bản hoặc bảng, mà nắm bắt các mẫu hoặc đặc điểm của dữ liệu thế giới thực. Trong AI, dữ liệu tổng hợp được sử dụng để huấn luyện và kiểm tra các mô hình khi dữ liệu thực tế khan hiếm, nhạy cảm, tốn kém để thu thập hoặc gán nhãn, hoặc khó có được một cách an toàn.

Dữ liệu tổng hợp không nhất thiết chứa các hồ sơ về người hoặc sự kiện có thật. Tuy nhiên, dữ liệu được tạo ra từ các nguồn thực tế đôi khi có thể tái tạo thông tin nhạy cảm, tùy thuộc vào các phương pháp được sử dụng.

Việc tạo dữ liệu tổng hợp hoạt động như thế nào?

Tạo dữ liệu tổng hợp dựa trên mô phỏng thường được sử dụng cho hình ảnh và dữ liệu cảm biến. Nó có thể bao gồm nhiều bước:

1. Xây dựng môi trường: Tạo một cảnh 3D hoặc bản sao kỹ thuật số đại diện cho các đối tượng, môi trường và cảm biến liên quan đến hệ thống AI.
2. Ngẫu nhiên hóa: Thay đổi các yếu tố như ánh sáng, vị trí vật thể, kết cấu, góc máy ảnh và điều kiện môi trường để tăng tính đa dạng của tập dữ liệu.
3. Bắt Hiển thị hình ảnh, video hoặc dữ liệu cảm biến như độ sâu và lidar từ môi trường mô phỏng.
4. Nhãn tự động: Tạo các chú thích như hộp giới hạn, mặt nạ phân đoạn và vị trí đối tượng trực tiếp từ mô phỏng.
5. Xác thực: Đánh giá các mô hình được huấn luyện trên dữ liệu tổng hợp so với dữ liệu thực tế và tinh chỉnh mô phỏng để giải quyết sự khác biệt giữa hai loại dữ liệu.

Ví dụ, một nhóm nghiên cứu sản xuất có thể tạo bản sao kỹ thuật số của một nhà máy và sử dụng nó để tạo dữ liệu đào tạo có nhãn cho các hệ thống AI. Viện Công nghệ Công nghiệp Hàn Quốc (KITECH) đã sử dụng Unity Industry để xây dựng bản sao kỹ thuật số của một nhà máy đúc kim loại và phát triển đường ống dữ liệu tổng hợp cho AI sản xuất, tạo ra hơn 100.000 khung hình thô cho AI hợp tác người-robot trong một dự án 14 tuần.

Các kỹ thuật tạo dữ liệu tổng hợp chính là gì?

Dữ liệu tổng hợp có thể được tạo ra bằng nhiều phương pháp khác nhau, tùy thuộc vào loại dữ liệu và mục đích sử dụng:

Các kỹ thuật khác nhau cũng có thể được kết hợp. Ví dụ, các mô hình tạo sinh có thể tạo ra các tài sản hoặc môi trường 3D sau đó được sử dụng trong việc tạo dữ liệu dựa trên mô phỏng.

Sự khác biệt giữa dữ liệu tổng hợp và dữ liệu thực là gì?

Dữ liệu tổng hợp và dữ liệu thực tế có những điểm mạnh và hạn chế khác nhau, vì vậy nhiều dự án sử dụng sự kết hợp của cả hai.

Dữ liệu tổng hợp được sử dụng để làm gì?

Dữ liệu tổng hợp được sử dụng trong nhiều ngành công nghiệp để huấn luyện và kiểm tra các mô hình AI, mô phỏng các kịch bản khó hoặc không phổ biến, và phát triển các hệ thống khi dữ liệu thực tế bị hạn chế, nhạy cảm hoặc tốn kém để thu thập.

• Thị giác máy tính: Huấn luyện các mô hình phát hiện đối tượng, phân đoạn và ước tính tư thế bằng hình ảnh có chú thích được tạo tự động.
• Robot học Huấn luyện robot nhận thức và tương tác với các đối tượng trong môi trường mô phỏng trước khi Deployment trong thế giới thực, bao gồm thông qua robotics simulation.
• Xe tự hành: Tạo và kiểm tra các tình huống lái xe bất thường hoặc nguy hiểm mà khó hoặc không an toàn để ghi lại trên đường thực.
• Sản xuất: Sử dụng mô phỏng nhà máy và Digital Twins để tạo dữ liệu huấn luyện cho kiểm tra, tự động hóa và cộng tác người-robot.
• Kiểm thử phần mềm: Tạo dữ liệu kiểm thử thực tế mà không sử dụng hồ sơ khách hàng thực tế.
• Chăm sóc sức khỏe và tài chính: Tạo dữ liệu để thử nghiệm, nghiên cứu hoặc phát triển mô hình trong khi giảm thiểu việc tiếp xúc với thông tin nhạy cảm, tùy thuộc vào cách dữ liệu tổng hợp được tạo và xác thực.

Lợi ích của việc tạo dữ liệu tổng hợp là gì?

• Mở rộng theo nhu cầu: Tạo ra lượng lớn dữ liệu mà không hoàn toàn phụ thuộc vào việc thu thập dữ liệu từ thế giới thực.
• Gắn nhãn tự động: Tự động tạo chú thích hoặc siêu dữ liệu, tùy thuộc vào phương pháp tạo, giảm nhu cầu gán nhãn thủ công.
• Giảm tiếp xúc với dữ liệu nhạy cảm: Các bộ dữ liệu tổng hợp có thể giảm nhu cầu sử dụng hoặc chia sẻ các hồ sơ cá nhân hoặc nhạy cảm thực tế.
• Bao phủ trường hợp biên: Tạo ra hoặc mô phỏng các kịch bản bất thường, nguy hiểm hoặc đắt tiền mà có thể khó nắm bắt trong thế giới thực.
• Đa dạng tập dữ liệu: Thêm các kịch bản hoặc điều kiện chưa được đại diện để cải thiện phạm vi bộ dữ liệu khi dữ liệu được tạo ra phản ánh chính xác sự biến đổi thực tế liên quan.

Những thách thức của việc tạo dữ liệu tổng hợp là gì?

• Khoảng cách mô phỏng-thực: Các mô hình được huấn luyện trên dữ liệu mô phỏng có thể gặp khó khăn khi các điều kiện thực tế, chẳng hạn như ánh sáng, kết cấu, vật lý hoặc nhiễu cảm biến, khác với mô phỏng.
• Nỗ lực xác thực: Các nhóm cần đánh giá xem dữ liệu tổng hợp có đại diện đầy đủ cho các điều kiện mà mô hình sẽ gặp phải hay không, thường bằng cách kiểm tra với dữ liệu thực tế.
• Thiên vị di truyền: Dữ liệu tổng hợp được tạo ra từ dữ liệu nguồn hoặc giả định bị thiên vị có thể tái tạo hoặc khuếch đại những thiên vị đó.
• Quyền riêng tư không tự động: Dữ liệu tổng hợp được tạo từ các bản ghi thực có khả năng tái tạo thông tin nhạy cảm, vì vậy có thể cần các bài kiểm tra quyền riêng tư và nhận dạng lại thích hợp.

Các câu hỏi thường gặp (FAQ)

Dữ liệu tổng hợp có giống với dữ liệu giả mạo không?

Chưa hẳn. Dữ liệu tổng hợp được tạo ra nhân tạo để tái tạo các mẫu hoặc đặc điểm liên quan của dữ liệu thế giới thực. Nó có thể được thiết kế cho các mục đích cụ thể, chẳng hạn như huấn luyện các mô hình AI, kiểm thử phần mềm hoặc mô phỏng các điều kiện thực tế. Dữ liệu giả thường được tạo ra để kiểm thử hoặc phát triển và không nhất thiết nhằm phản ánh các mẫu thực tế.

Các mô hình AI có thể được huấn luyện chỉ bằng dữ liệu tổng hợp không?

Trong một số trường hợp, có. Việc một mô hình có thể được huấn luyện hiệu quả chỉ bằng dữ liệu tổng hợp hay không phụ thuộc vào tác vụ, chất lượng và sự đa dạng của dữ liệu, và mức độ nó đại diện cho các điều kiện mà mô hình sẽ gặp phải. Kết hợp dữ liệu tổng hợp và dữ liệu thực tế có thể giúp cung cấp phạm vi bao phủ rộng hơn đồng thời cho phép các mô hình được đánh giá dựa trên các điều kiện thực tế.

Dữ liệu tổng hợp có luôn riêng tư không?

Không tự động. Dữ liệu tổng hợp được tạo từ các bản ghi thực có khả năng tái tạo thông tin nhạy cảm nếu quá trình tạo dữ liệu ghi nhớ hoặc tái tạo gần giống các ví dụ nguồn. Kiểm tra quyền riêng tư thích hợp có thể giúp xác định những rủi ro này trước khi dữ liệu được chia sẻ. Dữ liệu được tạo ra dựa trên mô phỏng từ các môi trường ảo không bắt đầu từ hồ sơ cá nhân, mặc dù các thuộc tính riêng tư của nó vẫn phụ thuộc vào cách hệ thống và tài sản được tạo ra.