Ответственный ИИ и обучение усовершенствованным моделям в Unity

Unity Muse помогает вам исследовать, создавать идеи и проводить итерации с помощью мощных возможностей искусственного интеллекта. Две из этих возможностей - Texture и Sprite, которые преобразуют естественный язык и визуальные данные в пригодные для использования активы.

Внедрение искусственного интеллекта в редактор Unity с Muse дает вам возможность легче реализовать свои идеи, быстро превращая их в нечто осязаемое. Вы также можете корректировать и повторять текстовые подсказки, узоры, цвет и эскизы, которые могут превратиться в реальные и готовые к реализации проекты.

Чтобы предоставить полезные результаты, которые были бы безопасными, ответственными и уважали авторские права других авторов, мы поставили перед собой задачу внедрить инновационные методы обучения моделей искусственного интеллекта, которые используются для генерации спрайтов и текстур в Muse.

В этом блоге мы расскажем о том, как Muse генерирует результаты, раскроем методологию обучения моделей и представим две новые базовые модели.

По мере развития возможностей Muse по созданию текстур и спрайтов мы также разрабатываем две специальные модели диффузии, каждая из которых обучена с нуля на основе собственных данных, принадлежащих Unity или лицензированных ею.

Одним из ключевых методов, который мы используем для увеличения масштаба и разнообразия наших наборов данных, является увеличение данных, что позволяет нам создавать множество вариаций из исходных образцов данных, принадлежащих компании Unity. Это значительно обогащает наши обучающие наборы и повышает способность моделей к обобщению на основе ограниченных выборок. Мы также используем такие методы, как геометрические преобразования, корректировка цветового пространства, введение шума и изменение образцов с помощью генеративных моделей, таких как Stable Diffusion, для синтетического расширения нашего набора данных.

Недавно Stable Diffusion стала предметом этических проблем, поскольку модель изначально обучалась на данных, взятых из интернета. Мы не стали полагаться на предварительно обученные модели, поскольку создали возможности Muse для работы с текстурами и спрайтами, обучив архитектуру модели скрытой диффузии с нуля, на оригинальных наборах данных, которые принадлежат Unity и ответственно курируются. Минимально используя модель Stable Diffusion в качестве части наших методов увеличения данных, мы смогли безопасно использовать эту модель для расширения нашей первоначальной библиотеки активов, принадлежащих Unity, в надежное и разнообразное хранилище результатов, которые являются уникальными, оригинальными и не содержат никаких художественных стилей, защищенных авторским правом. Кроме того, мы применили дополнительные меры защиты, о которых мы расскажем ниже. Наши тренировочные наборы данных для моделей скрытой диффузии, лежащих в основе возможностей Muse по созданию текстур и спрайтов, не содержат данных, взятых из интернета.

Ниже приведены некоторые примеры контента, расширенного с помощью описанных выше методов дополнения.

После пополнения имеющихся данных остались пробелы по целому ряду предметов, которые нам необходимо было заполнить. Для этого мы тренировали Stable Diffusion на собственном контенте до тех пор, пока его поведение не претерпевало значительных изменений. Используя эти производные модели, мы создали совершенно новые синтетические данные, используя предварительно отфильтрованный список испытуемых. Список объектов прошел как человеческую проверку, так и дополнительную автоматическую фильтрацию с помощью большой языковой модели (LLM), чтобы убедиться, что мы не пытались создать синтетические изображения, которые нарушили бы наши руководящие принципы и противоречили бы тому, чего мы пытались достичь: набор данных, полностью лишенный узнаваемых художественных стилей, материалов, защищенных авторским правом, и потенциально вредного контента.

В результате были получены две большие базы данных как дополненных, так и полностью синтетических изображений, которые, как мы были уверены, не содержали нежелательных концепций. Однако, как бы мы ни были уверены в себе, мы все равно хотели добавить еще больше фильтров, чтобы обеспечить безопасность наших моделей.

Поскольку нашими главными приоритетами были безопасность, конфиденциальность и обеспечение того, чтобы наши инструменты помогали вам без негативных последствий, мы разработали четыре отдельные модели классификаторов, которые отвечали за дополнительную фильтрацию наборов данных. Эти модели помогли убедиться в том, что весь контент, содержащийся в наборе данных, соответствует стандартам, установленным нами в соответствии с руководящими принципами ИИ, а также провести дополнительные проверки качества изображений.

Вместе модели рецензентов определяли, что синтетические изображения:

• Не содержит признаков какого-либо узнаваемого человека
• Не содержит негениальных художественных стилей
• Не содержит символов или логотипов IP
• Имели приемлемый уровень качества

Если изображение не проходило порог высокого доверия, необходимый для любой из четырех моделей рецензентов, оно отбрасывалось из нашего набора данных. Мы решили проявить осторожность и настроили наши модели на отказ, чтобы только изображения с наибольшим доверием прошли фильтры и попали в окончательный набор данных.

На конференции Unite мы объявили о раннем доступе к возможностям Muse по работе с текстурами и спрайтами. Первые итерации моделей, на которых основаны эти инструменты, получили внутренние названия Photo-Real-Unity-Texture-1 и Photo-Real-Unity-Sprite-1. Эти модели рассчитаны только на базовое понимание стилизации и ориентированы в первую очередь на фотореализм.

Кроме того, если вы хотите, чтобы модели соответствовали существующему стилю в вашем проекте, вы можете научить наших моделей создавать контент в определенном художественном стиле, предоставив нашей системе обучения стилю несколько ваших собственных эталонных активов. Таким образом, создается небольшая вторичная модель, которая работает в тандеме с основной моделью, определяя ее результаты. Эта небольшая вторичная модель является частной для вас или вашей организации как ее тренеров, и мы никогда не будем использовать этот контент для обучения наших основных моделей.

Поскольку наши модели ориентированы на фотореализм, нам не пришлось тренировать наши основные модели на бесчисленном количестве различных стилей. Такая архитектура упрощает обучение основных моделей, сохраняя нашу приверженность ответственному подходу к искусственному интеллекту и в то же время предоставляя вам глубокий уровень художественного контроля.

Эти модели сегодня - только начало. Мы ожидаем, что Muse будет и дальше становиться умнее и выдавать более качественные результаты, и мы будем сопровождать модели на этом пути с помощью наших дорожных карт по улучшению моделей.

На данный момент наша текстурная модель вполне способна на все. Он знает значительное количество концепций, и вы можете свободно смешивать совершенно несвязанные концепции и получать прекрасные результаты, такие как "металлическая слизь" или "голубые хрустальные камни", как показано выше.

Несмотря на то, что модель вполне способна в своем нынешнем состоянии, изучив ее реакцию на различные подсказки и методы ввода, мы заметили, что может быть трудно достичь продвинутых концепций материала с помощью однословных подсказок. Существуют дополнительные методы, помогающие направлять модель в соответствии с вашим видением, но мы хотим и дальше предоставлять вам больше контроля, как в плане точности базовых подсказок, так и путем добавления новых методов управления моделью.

В будущем мы планируем добавить функцию выбора цвета, дополнительные готовые шаблоны наведения, улучшенную систему создания собственных шаблонов наведения, а также другие новые методы визуального ввода, над которыми мы сейчас экспериментируем.

В дальнейшем мы будем уделять основное внимание Photo-Real-Unity-Texture-1, чтобы выявить все слабые концепции материала и продолжать улучшать общее качество и возможности путем частого переобучения модели. Ваши отзывы через систему оценки инструмента очень важны для того, чтобы помочь нам создать лучший инструмент и выявить слабые места в возможностях модели. В сочетании с частыми тренировками мы быстро совершенствуем модель, делая ее более простой в использовании и более осведомленной о материальном мире.

Как и Photo-Real-Unity-Texture-1, наша фундаментальная модель спрайта в целом очень способна и знает много концепций. Поскольку инструмент еще не имеет встроенных возможностей анимации, мы решили сосредоточить наши первоначальные усилия на повышении качества наиболее часто используемых концепций статических спрайтов. На изображении выше вы можете увидеть необработанные результаты базовой модели. При обычном использовании они будут направляться обученной пользователем моделью, чтобы соответствовать определенному художественному стилю.

Хотя статичные объекты уже достаточно надежны, мы все еще работаем над повышением анатомической точности животных и людей. Можно добиться хороших результатов при съемке таких объектов, но при этом могут возникнуть случаи лишних или недостающих конечностей или искаженных лиц. Это побочный эффект нашей приверженности ответственному ИИ и строгим ограничениям на использование данных. Мы серьезно относимся к конфиденциальности и безопасности, даже в ущерб качеству некоторых предметов в нашем первоначальном выпуске раннего доступа.

Это побочный эффект нашей приверженности ответственному ИИ и строгим ограничениям на использование данных. Мы серьезно относимся к конфиденциальности и безопасности, даже в ущерб качеству некоторых предметов в нашем первоначальном выпуске раннего доступа.

Вы также можете столкнуться с ситуацией, когда сгенерированный спрайт будет совершенно пустым. Это происходит из-за нашего фильтра модерации визуального контента. Во время первого запуска мы решили проявить излишнюю осторожность при фильтрации вывода на Photo-Real-Unity-Sprite-1, в результате чего некоторые художественные стили могут вызывать ложные срабатывания фильтра. Мы намерены со временем ослабить ограничения, поскольку продолжаем получать ваши отзывы и совершенствовать наш фильтр контента.

Мы ожидаем, что качество всех предметов будет быстро расти по мере того, как мы будем получать обратную связь и продолжать ответственно подходить к сбору данных. Мы намерены подвергнуть Photo-Real-Unity-Sprite-1 такому же жесткому обучению, как и Photo-Real-Unity-Texture-1.

Unity Muse - это наш первый шаг к тому, чтобы предоставить нашему сообществу больший контроль над творчеством с помощью генеративного искусственного интеллекта наиболее ответственным и уважительным способом. Мы создали этот продукт, ориентируясь на пользователя, и мы намерены продолжать вносить изменения и улучшения, основываясь на ваших отзывах.

Мы осознаем потенциальное влияние генеративного ИИ на творческую индустрию и относимся к этому очень серьезно. Мы не торопились с разработкой этих инструментов, чтобы убедиться, что мы не заменяем создателей, а, наоборот, расширяем ваши возможности. Мы верим, что мир станет лучше, если в нем будет больше творцов, и с помощью Unity Muse и моделей, на которых он основан, мы продолжаем поддерживать эту миссию.

Следите за новостями о Unity Muse и разработке искусственного интеллекта. Если у вас есть вопросы по этим продуктам, ознакомьтесь с FAQ на нашем сайте или посетите раздел "Обсуждения", чтобы пообщаться с нами напрямую.

Если вы пришли сюда с Unite 2023, в ближайшие недели мы выложим записи сессий с этого мероприятия. Полную информацию вы можете найти здесь.