How does a small moderation team reduce toxicity across a community of millions? To keep the Rogue Company community healthy and fun, mid-size studio Hi-Rez turned to third-party AI solutions for help monitoring in-game player behaviors at scale.
Creating a safer community and reducing player churn
PC, Xbox, PlayStation®
450
Atlanta, Georgia
2021년, Tony Jones는 플레이어 경험 디렉터로 일하면서 Rogue Company 커뮤니티의 독성을 파헤쳤고, Hi-Rez가 팀의 중재 능력을 확장할 수 있는 솔루션이 필요하다는 것을 깨달았습니다. 2023년에 리드 프로듀서로 자리를 옮긴 존스는 유니티에 연락해 Unity Gaming Services (UGS).
오래 지속되고 포용적인 커뮤니티를 구축하는 것이 Hi-Rez 사명의 핵심입니다. "현재 우리의 최우선 과제는 신뢰와 안전 측면에서 플레이어의 요구 사항을 이해하는 것입니다. 그러나 멀티플레이어 게임에는 유해한 행동과 괴롭힘이 만연해 있으며, 수백만 명의 커뮤니티에서 문제를 감지하는 것은 모든 규모의 팀에게 어려울 것입니다.
Hi-Rez는 Safe Voice의 예측 분석을 사용하여 게임 내 음성 통신에 대한 음향(어조) 및 의미론적(단어의 의미) 분석을 모두 수행합니다. 시스템은 세션이 보고되는 이유를 명확히 하는 AI 생성 레이블을 추가하여 진행자의 워크플로 속도를 높입니다.
Jones는 12년 동안 게임 커뮤니티를 관리해 왔으며 음성 채팅을 신뢰 및 안전 분야의 "황량한 서부"라고 부릅니다. 게임 내 음성 데이터를 구문 분석하고 시각화할 수 있는 도구는 거의 없으며, Jones는 중소 규모 스튜디오의 경우 다른 솔루션이 "엄청나게 비싸고 현실적이지 않다"고 설명합니다.
Safe Voice를 사용하면 보고된 사례가 독성 점수, 중단 점수, 전반적인 위험, 위험에 처한 플레이어가 특정 사고에 영향을 받았는지 여부와 같은 지표를 사용하여 분류됩니다. 이를 통해 Jones의 팀은 "불건전한 행동을 식별하고 경미한 독성을 사전에 해결하여 선수들을 사이클링하는 대신 재활시킬 수 있습니다."
독성 또는 파괴적인 행동을 식별하기 위한 최적의 임계값을 보장하는 것은 Hi-Rez에 중요합니다. 재미와 안전 사이의 적절한 균형을 맞추기 위해 Hi-Rez는 독성 및 방해 필터를 사용하여 Safe Voice를 미세 조정했습니다.
"오탐은 플레이어의 이의 제기로 이어지고, 이로 인해 더 많은 작업이 필요합니다. 처음에는 욕설이 독성 점수에 영향을 미쳤지만, 대부분의 경우 사건이 조치를 취할 수 없다는 것을 알게 되었습니다"라고 Jones는 설명합니다. Hi-Rez는 게임 문화에 맞게 Safe Voice를 구성하여 오탐을 90% 줄여 인시던트 우선 순위 지정 및 응답 시간을 개선했습니다.
모든 파괴적인 행동이 언어적인 것은 아닙니다. 시끄러운 소음, 음악, 심지어 애완 동물 소리도 게임의 재미를 앗아갈 수 있습니다. Hi-Rez가 Safe Voice를 처음 사용하기 시작했을 때 그들은 "사람들의 마이크를 통해 많은 배경 소음이 발생하고 있다"는 것을 깨달았습니다. 45일간의 모니터링 기간 동안 팀은 배경 소음의 부정적인 영향을 받은 거의 3,000개의 세션을 식별했습니다.
이 통찰력으로 무장한 Jones와 그의 팀은 솔루션에 대해 생각하기 시작했습니다. "게임에 노이즈 감소를 구현하는 것을 고려하게 되었습니다. "Safe Voice가 없었다면 이것이 문제라는 것을 알지 못했을 것입니다."
Safe Voice를 사용한 지 불과 몇 주 만에 Rogue Company 플레이어 커뮤니티에 영향을 미치는 문제에 대한 새로운 시각을 갖게 되었습니다. 존스가 말했듯이 이 도구는 "이전에 이 어두운 공간을 밝힙니다. 이제 우리는 무엇이 있는지 확인하고 개선을 위한 조치를 취할 수 있습니다."
