자율주행 기술 접근성에 혁신을 가져온 Unity: TIER IV의 오픈 소스 시뮬레이터 AWSIM

TIER IV는 자율주행 기술의 개발을 개방하여 접근성과 확장성을 높임으로써 모두가 자율주행 기술에 접근할 수 있도록 만들기 위해 노력하고 있습니다. 이 비전을 뒷받침하기 위해 TIER IV는 Unity로 개발한 오픈 소스 시뮬레이터인 AWSIM을 구축했습니다. AWSIM은 보다 현실적이고 효율적인 환경에서 Autoware와 같은 오픈 소스 자율주행 소프트웨어의 테스트와 검증, 최적화 등을 지원하는 시뮬레이터입니다.

이 인터뷰에서 AWSIM 개발 리드 마키노 타카토키는 TIER IV가 왜 Unity를 선택했는지와 팀에서 어떻게 자율주행에 맞춤화된 시뮬레이터를 구축했는지, AWSIM을 통해 어떻게 비용이 많이 드는 실제 테스트에 대한 의존도를 줄이면서 Autoware 생태계를 확장하고 있는지를 설명합니다.

주요 내용 요약

• TIER IV는 Autoware와 호환되며 테스트와 검증이 가능한 현실적인 시뮬레이션 환경을 제공하는 Unity 기반 오픈 소스 자율주행 시뮬레이터 AWSIM을 제작했습니다.
• Unity는 개발 시간 단축과 고성능 자율주행 시뮬레이션, Autoware 팀이 사용하는 Linux 기반 Ubuntu 중심의 워크플로 전반에서의 유연성을 지원합니다.
• AWSIM은 시뮬레이션 도입 장벽을 낮추고, Autoware 생태계를 확장하며, 비용이 많이 들고 위험이 큰 물리적 차량 테스트에 대한 의존도를 줄여 줍니다.

기존 방법론의 한계

자율주행 소프트웨어를 개발하려면 실제 도로에서 테스트하기 전에 동작, 센서 성능, 시스템 상호 작용을 대규모로 정확하게 확인할 수 있는 시뮬레이션 환경이 필요합니다. 차량과 전문 코스를 활용한 실제 테스트는 비용이 많이 들고 시간도 오래 걸리며, 안전상의 위험이 내재되어 있습니다.

하지만 TIER IV가 2020년에 기존의 여러 시뮬레이터를 평가한 결과, 대다수가 Autoware와 같은 자율주행 소프트웨어의 요구 사항에 맞게 디자인되지 않았다는 사실을 확인했습니다. 많은 시뮬레이터가 ROS2와 호환되는 통신 방식 대신 독점 프로토콜에 의존하고 있어서 현실적인 연동이 어렵고, 시뮬레이션과 실제 차량 환경 간 이동에 더 많은 작업이 필요했습니다.

기술적 한계로 인해 추가적인 마찰도 발생했습니다. 일부 시뮬레이터에서는 LiDAR를 CPU에서 처리해 속도와 정확도가 감소했고, 더러는 복잡한 자율주행 워크플로에 반드시 필요한 교차로에서 신호등을 안정적으로 인식하는 등의 기능이 부족했습니다. TIER IV는 결국 Autoware 시뮬레이션 전체 프로세스를 처음부터 끝까지 지원하는 시뮬레이터를 단 하나도 찾을 수 없었습니다.

참조 환경으로서의 AWSIM

TIER IV는 여러 불완전한 툴을 조합하는 대신, 자체 시뮬레이터인 AWSIM을 개발하기로 했습니다. AWSIM은 Unity로 개발한 오픈 소스 자율주행 시뮬레이터로, Autoware의 참조 환경으로 설계되었습니다. Unity로 개발한 AWSIM은 Autoware와 원활하게 연동되며, 보다 폭넓은 자율주행 생태계에 맞는 개방형 개발 모델을 지원합니다.

오픈 소스 기반을 마련한 것은 전략적 선택이었습니다. TIER IV는 AWSIM의 투명성과 접근성을 보장해 다양한 기업과 연구자, 개발자 등이 보다 쉬운 참여와 기여, 공통적인 참조 구현 기반 개발이 가능한 환경을 조성했습니다.

AWSIM은 Autoware를 도입하는 팀의 학습 기간도 단축해 줍니다. 사전 연동된 데모 시뮬레이션을 통해 일반적으로 필요한 센서와 맵, 시나리오 등의 설정에 많은 시간을 할애하지 않고 시뮬레이터를 연결해 처음부터 끝까지 워크플로를 바로 진행할 수 있습니다. 이런 방식으로 AWSIM은 단순한 시뮬레이터를 넘어, Autoware와 호환 가능한 시뮬레이션 환경 구축의 실용적인 레퍼런스 역할을 합니다.

마키노는 “앞으로 AWSIM은 Autoware와의 연결을 목표로 시뮬레이터를 개발하려는 자율주행 관련 기업과 대학이 참고할 수 있는 방향을 제시할 것입니다. 앞으로 다양한 협업이 이루어지길 기대합니다”라고 말했습니다.

Unity가 개발 툴로 선정된 5가지 이유

AWSIM을 구축하기 위해 TIER IV에는 고충실도 시뮬레이션, 복잡한 센서 워크플로, 외부 연동, 프로토타이핑부터 정식 제작까지 빠른 반복 작업을 지원하는 개발 플랫폼이 필요했습니다. 여러 옵션을 평가한 끝에 Unity를 선택한 5가지 이유는 다음과 같습니다.

1. 개발 및 프로토타이핑 시간 단축

Unity의 빌트인 물리 요소, 렌더링, 씬 관리 기능을 통해 TIER IV는 기본 설정에 소요되는 시간을 줄이고 구현에 집중할 수 있었습니다. 마키노의 말에 따르면, Unity의 C# 기반 환경 덕에 센서와 차량 동작 실험에서 R&D 반복 수정 시간도 단축되었다고 합니다.

2. 핵심 기능과 고급 기능의 균형 조정

TIER IV는 고급 최적화와 커스터마이징에 도움이 되는 기술인 DOTS(데이터 지향 기술 스택)와 SRP(스크립터블 렌더 파이프라인) 등 Unity의 성숙한 기본 툴과 확장성을 높이 평가했습니다.

3. 큰 규모에서도 유지되는 성능과 유연성

자율주행 시뮬레이션은 렌더링과 오브젝트 처리에 매우 높은 성능을 요구합니다. Unity는 팀에 품질이나 성능에 맞게 조정할 수 있는 유연성을 제공하고, 차량과 교통 참가자 등 많은 수의 움직이는 오브젝트를 효율적으로 관리할 수 있게 지원했습니다.

4. 방대한 생태계와 인재 풀

Unity의 폭넓은 사용자층과 기술 자료, 지원 리소스를 비롯해 게임 외의 다양한 분야에 채택된 사례도 많았던 덕에 TIER IV에서는 정보 수집과 문제 해결, Unity 경력 보유 인재 채용 등이 한층 수월했습니다.

5. 개방형 개발을 위한 멀티플랫폼 지원

AWSIM은 오픈 소스이므로 접근성이 중요합니다. Linux를 지원하는 Unity는 CI 파이프라인, 컨테이너화된 워크플로를 비롯해 Autoware와 AWSIM이 사용하는 Ubuntu 기반 개발 환경에 매우 적합한 플랫폼이었습니다.

오픈 소스와 자율주행 시뮬레이터 관련 과제

오픈 소스 기반 자율주행 시뮬레이터를 구축하는 과정에서 TIER IV와 더 넓은 Autoware 커뮤니티에 고유한 기술적 과제와 운영상의 과제가 발생했습니다. AWSIM은 모든 사람들에게 공개될 예정이었으므로, TIER IV에서는 오픈 소스와 호환되는 라이브러리와 외부 에셋의 제약을 고려해야 했습니다.

이 과제를 해결하기 위해 TIER IV는 Autoware 재단 산업 그룹의 일원인 Robotec.ai와 협력하여 ros2-for-unity, Robotec-GPU-Lidar와 같은 라이브러리를 개발하고 활용했습니다. 이러한 라이브러리는 Unity에서 네이티브 ROS2를 직접 처리하고, NVIDIA OptiX를 사용한 레이트레이싱 기반 LiDAR 시뮬레이션을 구현하여 LiDAR 처리를 CPU에서 GPU로 오프로드하게 했습니다.

팀은 Ubuntu에 맞는 개발 요구 사항도 해결해야 했습니다. Autoware가 Ubuntu에서 실행되므로 AWSIM 역시 외부 디바이스 지원이 제한되거나 문서화된 내용이 없는 상황에서 동일하게 Ubuntu에서 동작해야 했습니다. 예를 들어 네이티브 Ubuntu 지원이 되지 않는 스티어링 휠 컨트롤러와 같은 디바이스의 경우, TIER IV는 격차를 줄이기 위해 커스텀 드라이버를 개발하여 HILS(Hardware In the Loop Simulation) 설정을 일관성 있게 유지했습니다.

주요 과제 솔루션

다중 카메라 렌더링

자율주행 시뮬레이션은 실시간으로 여러 고해상도 센서에 프레임마다 데이터를 제공해야 하므로 일반적인 3D 인터랙티브 애플리케이션보다 더 높은 성능이 요구됩니다. 일부 AWSIM 시나리오에서 TIER IV는 센서의 정확도를 유지하면서 8대 이상의 카메라를 동시에 실행해야 했기 때문에 표준 최적화 기술만으로는 충분하지 않아 커스텀 조정이 필요했습니다.

팀에서는 Unity를 활용해 이러한 부하를 관리하기 위한 일련의 특화된 최적화 기법을 개발했습니다. 여기에는 여러 카메라에서 시차를 둔 렌더링으로 급격한 부하를 줄이고, 타임스케일 조정으로 프레임당 리소스를 더 할당하며, 에셋을 최적화하고, 정확도와 프레임 속도 간의 균형을 맞추기 위해 단일 프로젝트 내에서 렌더링 파이프라인 옵션을 유연하게 활용하는 등의 작업이 포함되었습니다.

HILS(Hardware in the loop simulation)

TIER IV는 Unity 잡 시스템과 PhysX 등의 툴을 사용하여 차량, 교통, 보행자 시뮬레이션의 실시간 성능을 향상했습니다. 팀에서는 HILS를 지원하기 위해 원시 센서 패킷을 분석하고 Unity에서 동등한 출력을 재현하여 ECU와 카메라 센서 설정을 테스트 차량에 배포하기 전에 시뮬레이션에서 테스트할 수 있도록 했습니다.

라이브러리를 활용한 기능 개발

TIER IV는 커스텀과 공동 개발 라이브러리를 통해 Unity의 기능을 더욱 확장했습니다. 팀에서는 NVIDIA OptiX를 활용한 레이트레이싱 LiDAR 기능을 구축하고, 이를 Unity에 네이티브 플러그인으로 연결하여 Autoware의 자기 위치 추정 워크플로용 포인트 클라우드 맵을 생성했습니다. 또한 VFX 그래프를 활용해 비, 눈 등 기상 효과와 이로 인해 카메라와 LiDAR 데이터에 발생하는 시각적 노이즈까지 시뮬레이션했습니다.

ros2-for-unity 라이브러리를 통해 TIER IV는 Unity 내에서 DDS와 ROS2 관련 설정을 직접 작업할 수 있게 되어, 여러 시뮬레이션 스택에서 시간 관리를 통합하고 실제 도로 위 차량에서 사용되는 것과 유사한 저지연 통신 패턴을 재현할 수 있었습니다.

AWSIM 개발이 기여한 Autoware의 개선

AWSIM은 외부 Autoware 생태계와 TIER IV의 내부 개발 워크플로 모두에 새로운 가치를 더했습니다. AWSIM이 공개되기 전에는 시뮬레이션을 실행하려면 Autoware와 시뮬레이터 양쪽 모두에 대한 깊은 이해도가 필요했고, 따라서 신규 사용자에게는 진입 장벽이 높았습니다. AWSIM은 튜토리얼과 사전 연동된 워크플로를 통해 개발자들이 쉽게 시작하고 시뮬레이션을 실행할 수 있게끔 만들었고, 완전한 Autoware 파이프라인을 보여 주며 그 장벽을 낮췄습니다.

이러한 접근성 덕분에 도입이 확대되었습니다. AWSIM은 일본 자동차 기술회가 주최하는 AI 챌린지 예선에서도 활용되어, 매년 수백 명의 참가자들이 Autoware 생태계를 경험하고 오픈 소스 자율주행을 중심으로 한 커뮤니티의 성장을 가속화하는 데 기여했습니다.

내부적으로는 AWSIM이 Autoware 출시 전에 포괄적인 평가를 지원하여 개발 효율성을 높였고, 초기 검증과 디버깅에서 물리적 차량에 대한 의존도를 줄여 특히 차선 유지와 신호 인식 등의 카메라 기반 기능에서 큰 도움이 되었습니다.

AWSIM의 영향은 내부 테스트 효율성 향상에만 그치지 않고, 더 넓은 산업 분야에서 검증하는 단계로 확대되고 있습니다. 2025년, 이 프로젝트는 제17회 Unity Awards 산업 분야에서 이노베이션 어워드 수상의 영예를 안으며, TIER IV가 접근성 높은 오픈 소스 시뮬레이션을 통해 자율주행 분야의 발전을 이끌고 있음을 입증했습니다.

AWSIM의 미래

앞으로 TIER IV는 AWSIM을 Autoware 프로젝트의 디지털 트윈 시뮬레이터 참고 자료로 발전시켜 나갈 계획입니다. 주요 목표 중 하나는 매우 정확하게 재현된 POC 테스트 사이트를 활용해 수만 킬로미터의 주행 데이터를 생성함으로써, 실제 차량 테스트에만 의존하지 않고 대규모 평가를 지원하는 것입니다.

TIER IV에게 이 목표는 단순한 시뮬레이션 품질 개선 그 이상을 의미합니다. Autoware의 신뢰성을 강화하고, 글로벌 커뮤니티를 확장하며, 전 세계 수많은 개발자, 연구자, 업계 파트너에게 도달할 수 있는 개방형 자율주행 생태계에 한 걸음 더 다가간다는 비전을 뒷받침합니다.