클루지 인터랙티브가 신스 라이더를 애플 비전 프로에 도입한 방법

몰입형 리듬 게임인 신스 라이더스는 2019년에 Steam VR과 메타 퀘스트에 출시되었으며, 이후 Apple Vision Pro를 비롯한 다양한 기기로 이식되었습니다. 비전OS용 혼합 현실 환경을 개발하면서 팀이 배운 점은 다음과 같습니다.

한 스튜디오는 사이버 펑크의 미학과 애플의 미니멀하고 컬러풀한 디자인을 결합한 Apple Vision Pro용 인기 타이틀을 어떻게 재탄생시켰을까요?

애플 비전 프로는 새롭게 진화하는 플랫폼이기 때문에 클루지 인터랙티브 팀은 직면할 수 있는 잠재적 장애물을 알고 있었으며, 성공을 위해서는 적응해야 한다는 것을 알고 있었습니다. 이들은 플랫폼의 첫날 출시 기한을 맞추고 미디어 프리뷰를 앞두고 게임을 높은 수준으로 다듬는 데 주력했습니다.

새로운 도전을 위한 준비

"우리 팀은 항상 기술에 대해 낙관적이었습니다. 신스 라이더의 시각적인 측면을 강화하고 게임의 UI를 재설계하던 중이었기 때문에 애플 비전 프로용 개발 기회는 적절한 시기에 찾아왔습니다."라고 클루지 인터랙티브의 CEO인 아르투로 페레즈(Arturo Perez)는 말합니다.

신드라이더의 모든 버전은 플랫폼별 과제를 안고 있습니다. 팀은 새로운 포트 또는 이 경우 새로운 매체에 맞게 게임을 재구상하는 데 동의한 후 하드웨어 작업을 준비하기 시작했습니다. 지난 1년 반 동안 개발팀은 PlayStation VR2와 메타 퀘스트 3용 포트를 출시한 데 이어 빠르게 Apple 비전 프로에도 출시했습니다.

"지난 12~18개월 동안 게임 개발은 기술 부채를 갚고 툴셋을 2022 LTS에 더 가깝게 만드는 데 집중했습니다."라고 클루지 인터랙티브의 기술 프로듀서인 앤마리 위렐 바르톨로메우스는 설명합니다. "우리는 이미 빌트인 렌더 파이프라인에서 유니버설 렌더 파이프라인 (URP)으로 전환했고, OpenXR 백엔드로 전환했습니다. 그 덕분에 새로운 기술을 활용해 작업할 수 있다는 훨씬 더 나은 기술적 입지를 확보할 수 있었습니다."

또한 보다 모듈화된 접근 방식을 사용하고 게임플레이와 그래픽 및 입력을 분리하기 위해 많은 노력을 기울였습니다. 새로운 포트를 시작할 때 이 '코어' 패키지는 음악 로드, 메뉴 생성, 게임 내 인터랙티브한 노트와 레일 채우기 등을 관리했습니다. 이를 처리함으로써 팀은 특정 플랫폼에서 데이터가 어떻게 표시되는지에 집중하여 원하는 모양과 느낌을 얻을 수 있었습니다.

바르톨로메우스는 " 신스 라이더의 다양한 콘셉트를 탐구하고 싶을수록 그 부분을 분리하는 것이 환상적이었습니다. 코어를 사용하여 Apple 비전 프로용 신디사이저를 개발하는 데 큰 도움이 되었습니다."

결과

• Apple Vision Pro 출시 첫날을 맞아 새롭게 재해석한 리듬 게임 버전을 제작했습니다.
• 15명 이상의 아티스트, 개발자 등으로 구성된 플랫폼별 팀 전체를 고용하는 데 드는 비용 절감
• Apple Vision Pro에서 평균 평점 4.7/5를 받았습니다.

반응형 UI 디자인

클루지 인터랙티브 팀은 애플 비전 프로의 UI를 재작업하기 시작하면서 애플이 사물을 클릭하는 방법과 표준 버튼의 모양을 규정하고 있다는 사실을 금방 깨달았습니다. 시선추적 데이터는 개발자에게 직접 노출되지 않기 때문에 개발자들은 모든 규칙에 따라 작동하는 UI를 만들기 위해 적응하고 문제를 해결했습니다.

시선 추적 데이터에 액세스할 수 없기 때문에 커스텀 솔루션은 사용할 수 없었습니다. 애플 비전 프로의 내장 하이라이팅 시스템과 잘 작동하도록 전체 UI를 3D로 재창조했습니다.

Kluge Interactive의 개발자인 미구엘 모스케라는 “표준 캔버스 기반 UI를 사용할 수도 있었지만, 저희는 다양한 투명 레이어의 처리에 어려움을 겪었습니다”라고 설명합니다. “캔버스, 그림, 2D 요소를 하이라이트 처리하는 정사각형 모양이 가장 큰 문제였습니다. 미적으로도 만족스럽지 않았고 하이라이트가 오브젝트와 어울리지 않았어요.” 3D 요소는 정사각형 메시와 알파 텍스처를 사용하기 때문에 팀은 이러한 문제를 피하기 위해 3D UI로 전환했습니다.

UI를 3D로 다시 제작하면서 시선 하이라이트가 버튼의 모양과 일치하도록 했지만, 플랫폼에서 UI가 자연스럽게 느껴지도록 하기에는 충분하지 않았습니다. 하이라이트 효과는 항상 물체의 실루엣 테두리 주변에 은은한 흰색 빛을 내는 것이었고, 메뉴 디자이너는 이를 고려해야 했습니다. 따라서 예를 들면 밝은 색상과 투박한 테두리를 피하고 어두운 색상의 부드러운 그라데이션을 사용했습니다.

이로 인해 팀에 별도의 워크플로가 추가되었지만 팀은 새로운 프로세스를 수용했으며 전반적으로 결과에 매우 만족하고 있습니다. 페레즈는 "그만한 가치가 있었습니다. 다른 디바이스보다 UI가 훨씬 깔끔합니다."

퍼포먼스 효과 제작

팀은 폴리스페이셜 프로젝트에 슈리켄 유니티 이펙트를 추가하기 위해 프로퍼티 리플리케이션과 메시로 굽기 메서드를 모두 시도했습니다. 리플리케이트 프로퍼티 옵션의 경우, Unity 파티클 시스템의 프로퍼티가 Xcode의 네이티브 파티클 시스템에 적용됩니다. 메시로 굽기 메서드를 사용하면 Unity 파티클 시스템의 출력이 표준 메시로 변환됩니다. 후자는 리소스를 훨씬 더 많이 사용하지만 네이티브 파티클 시스템으로는 복제할 수 없는 광범위한 기능을 지원했습니다.

팀은 일반적으로 프로퍼티를 복제하는 것이 더 나은 옵션이라고 생각했지만, 결국 메시로 굽기 옵션을 선택하기로 결정했습니다. "파티클 트레일은 3D 아티스트가 게임에 오디오 반응형 시각 효과를 만들기 위해 꼭 사용하고 싶었던 '필수' 기능이었지만, 프로퍼티 리플리케이션 옵션으로는 불가능했습니다."라고 클루지 인터랙티브의 수석 개발자인 저스틴 도피리악(Justin Dopiriak)은 말합니다.

메시로 굽기 옵션은 상당히 부담스러웠고, 화면에서 사용하는 파티클 시스템 중 일부는 오버헤드가 컸습니다. "우리는 시스템을 한계까지 실행했고, 성능 문제의 원인을 파악하는 것이 흥미로웠습니다."라고 도피락은 말합니다. "문제를 찾아서 해결하기 위해 노력한 결과, 순수 정점을 사용하는 것이 좋은 해결책이라는 것을 알게 되었습니다."

매번 이펙트를 메시로 구워야 했기 때문에 다른 플랫폼에서보다 버텍스 수만으로도 훨씬 더 큰 영향을 받았습니다. 오버헤드를 관리하고 리소스 절약을 최적화하기 위해 사용 가능한 항목에 대해 매우 신중하게 결정했습니다. 시각적 충실도에 대한 전반적인 영향은 미미했습니다. 도피리악은 "적용 대상과 제한 방식에서 전반적으로 규율을 강화한 결과, 거의 완벽에 가까운 결과를 얻을 수 있었습니다."라고 결론지었습니다.

무대 조명

셰이더와 라이팅을 제작하기 위해 팀은 Unity PolySpatial의 툴과 문서를 활용했습니다. 이들은 시뮬레이터에 조명이 없는 상황에서 도움이 되는 비전OS용으로 특별히 제작된 새로운 노드와 각 노드가 플랫폼과 호환되는지 여부를 보여주는 노드 목록을 발견했습니다. 이는 탄젠트 공간 변환, 반사 프로브 및 뷰 방향 관리, 노멀 매핑을 처리할 때 유용했습니다.

팀은 폴리스페이셜 라이팅 노드를 메인 출력 노드로 사용하고 모든 것을 제자리에 연결했습니다. 기본 색상, 노멀, 메탈릭(metallic) 및 평활도는 그대로 유지되었습니다.

3D 아티스트인 에스테반 메네세스는 "폴리스페이셜 측과 Apple 비전 프로 측에서 헤드셋이 카메라가 받은 피드백에 따라 환경의 반사와 일부 조명을 추가했기 때문에 투패스 셰이더로 작동했습니다."라고 설명합니다. “PolySpatial 조명은 엔진 내부에 있는 모든 것을 관리했고, 베이크된 조명을 위한 옵션도 있었습니다. 라이트맵과 라이트 프로브를 사용하는 것에 대해 논의해 보았는데, 두 가지 모두 매우 유용했어요.”

반사 프로브에서 팀은 Simple 옵션과 Blend 옵션을 사용했습니다. 그런 다음 PolySpatial Lighting 노드에서 출력되는 모든 항목을 기본 색상과 이미션에 연결하여 안전성을 확보했습니다.

"기본 색상을 사용하는 패스가 있는데 검은색으로 사용하고 싶지 않았습니다."라고 메네세스는 계속 말합니다. “값을 높이고 예술적 자유도를 확보하기 위해 강도 조정값을 추가했습니다. Apple Vision Pro의 리플렉션 변수를 사용하고 최종 노드에서 앰비언트 오클루전을 꺼서 환경의 리플렉션이 보이지 않았습니다." 반사율을 제어하여 사용자와 함께 방에 있는 것처럼 보이는 오브젝트와 포털을 통해 보이는 오브젝트로 게임을 깔끔하게 구분할 수 있었습니다.

손 추적 시작하기

개발팀은 게임을 재해석하는 과정에서 처음으로 손 추적에 도전했습니다. 처음에는 햅틱이 없는 것에 대해 주저했지만, 최종적으로는 마음에 드는 결과물을 얻었습니다. "일반적으로 컨트롤러를 잡을 때 손은 손목에서 끝나지만 핸드 트래킹을 사용하면 손가락이 중요해져 다른 방식으로 제스처를 취하고 음악과 상호작용할 수 있습니다. 이는 게임에 새로운 차원을 가져왔습니다."라고 바르톨로메우스는 말합니다.

컨트롤러가 없으니 새로운 입력 방식에 적응할 수 있었습니다. 또한 플레이어가 햅틱으로 연결할 수 있는 간극을 방해하지 않는 방식으로 메워야 했습니다. 바르톨로메우스는 "오디오 리액티브 효과, 라이팅, 다양한 파티클을 사용하여 동작에 따라 노래와의 연관성을 강화하는 작업을 했습니다."라고 설명합니다. 레일과의 상호작용이 특히 중요했습니다."

팀은 플랫폼 문서에 의존하여 다른 플랫폼에는 없는 Apple Vision Pro의 스켈레톤 오프셋에 대한 정보를 얻었습니다. 게임 플레이에 있어서는 손목을 유일한 추정 지점으로 추적했습니다. 게임플레이 요소에는 손 트래킹을, 다른 모든 요소에는 공간 탭을 혼합하여 사용했기 때문에 사용자 지정 제스처를 사용하지 않았습니다. "우리는 운영 체제가 제공하는 이점을 활용했습니다. 저는 사람들이 이 기능을 사용하도록 권장합니다. 정말 멋진 공연이었습니다."라고 바르톨로매우스는 말합니다.

렌더링 및 성능 최적화

또한 팀은 새로운 렌더링 프로세스를 배워야 했습니다. 다른 플랫폼의 경우 일반적으로 Unity에서 직접 렌더링했지만, 비전OS에서는 RealityKit에서 두 번째 단계를 거쳤습니다. 팀이 극복한 주요 과제 중 하나는 3D 공간에서 두 개 이상의 점을 배열하고 그 사이에 직선을 그리는 컴포넌트인 라인 렌더러를 사용하지 않는 것이었습니다. 이 컴포넌트는 다른 버전의 신스 라이더에서 레일 시스템을 개발하는 팀에게 큰 자산이었습니다.

바르톨로매우스는 "이 장애물에 부딪혔을 때 Unity PolySpatial 팀과 함께 브레인스토밍을 할 수 있어 정말 좋았습니다."라고 말합니다. "플랫폼에서 아직 지원되지 않는 기능인 레일의 경우, 테크니컬 아티스트가 표준 메시와 버텍스 변위를 사용하여 처음부터 다시 만들 것을 제안했는데 정말 잘 작동했습니다."

팀에서 성능 최적화와 관련하여 얻은 큰 교훈 중 하나는 다른 플랫폼을 타게팅한 경험을 바탕으로 가정하지 말아야 한다는 것이었습니다. 팀은 게임을 빌드하며 성능 개선 속도를 높이기 위한 최적화 경로를 하나씩 테스트하는 과정에서, 다른 플랫폼에서는 URP에서 머티리얼 인스턴싱의 영향을 줄인 솔루션이 Apple Vision Pro에는 적용되지 않는다는 점을 발견했습니다. 시니어 개발자인 저스틴 도피리악은 “이 문제를 발견한 후 코드 몇 줄을 변경해 봤는데, 쉽게 수정할 수 있었고 개선 효과는 극적이었습니다."라고 도피리악은 말합니다.

또한 Unity 프로파일러, Xcode 디버거, Play to Device 기능을 사용하여 성능을 디버깅했습니다. "처음에는 테스트하고 문제를 찾는 것이 어려웠습니다."라고 Mosquera는 설명합니다. “Play to Device 기능은 문제를 더 빠르게 찾는 데 도움이 되었죠. 이 기능이 없었다면 프로젝트를 완료하는 데 더 오랜 시간이 걸렸을 것입니다.”

한 단계 더 발전하기

2007년 디자인 스튜디오로 시작한 이래 클루지 인터랙티브는 새로운 기술을 수용하고 새로운 시도를 해왔습니다. 신스 라이더는 출시 5년째를 맞았지만, 개발팀은 새로운 콘텐츠의 긴 꼬리를 예상하고 Apple Vision Pro에서 적극적으로 기능을 구축하고 시각과 음악의 관계를 향상시키기 위해 노력하고 있습니다.

"디자인은 우리 DNA의 큰 부분을 차지하기 때문에 이 디바이스와 OS에 많은 의도가 담겨 있는 것을 보고 계속해서 영감을 얻었습니다. 더 높은 곳에 도달할 수 있다는 것을 알고 있으며, 다음 단계가 기대됩니다."라고 페레즈는 말합니다.

Apple Vision Pro 콘텐츠 제작을 시작하세요

Unity의 강력한 툴과 워크플로로 매력적인 공간 경험을 제작하는 데 어떤 도움을 받을 수 있는지 알아보려면 유니티에 문의해 주세요.