Mr Carton - La première série de dessins animés au monde MadeWithUnity

Je m'appelle Mathieu Muller et je suis ingénieur de terrain dans la région EMEA et spécialiste des films chez Unity. En novembre dernier, lors de Unite Los Angeles, j'ai organisé un panel intitulé "Unity For film", présentant diverses utilisations d'Unity dans l'industrie cinématographique(The Gift par Marza Animation Planet, le Livre de la Jungle de Disney Previz, le court métrage Adam par Unity, le court métrage Sonder par Soba Productions, la lecture vidéo sur le plateau du film Passengers et la série animée Mr Carton par Tant Mieux Productions) en compagnie de certaines des personnes ayant travaillé sur ces projets.

Cette semaine, M. Carton, la première série de dessins animés produite pour la télévision #MadeWithUnity est lancée sur le site national de la télévision française.

Aujourd'hui, Michaël Bolufer, créateur, concepteur, coréalisateur, coscénariste, allumeur principal et animateur pompier des 13 épisodes de la série de deux minutes, est mon invité pour parler de cette production.

- Quelle est l'histoire de M. Carton ?

M. Carton est un conducteur maladroit qui veut atteindre un phare au sommet d'une montagne. C'est l'intrigue ! Mais chaque véhicule, chaque petit caillou peut représenter un danger.

Avant tout, le plus grand danger, c'est lui-même : Il ne sait pas conduire, comme s'il n'était pas censé être là...

- Michaël, êtes-vous issu de l'industrie du jeu ou de l'industrie du cinéma ?

J'ai commencé il y a 15 ans dans une société de jeux vidéo (Etranges Libellules à Lyon) en tant que graphiste, puis game/level designer, et cinematic designer. Après 4 ans dans l'industrie du jeu, j'ai voulu aller plus loin et je suis passé à l'industrie cinématographique en tant qu'artiste de synthèse et directeur artistique. Le fait de venir de l'industrie du jeu m'a beaucoup aidé dans l'industrie de l'image de synthèse en ce qui concerne l'efficacité et la connaissance des contraintes des machines. Aujourd'hui, je joue au ping-pong entre les deux industries, travaillant comme entrepreneur ou sur mes propres productions de jeux et de séries animées.

- Quels moteurs de jeu avez-vous utilisés ?

J'utilisais un moteur interne lorsque je travaillais chez Etranges Libellules, qui convenait parfaitement à ce que nous faisions, en particulier le système de caméra. J'ai utilisé Epic UDK pendant six mois pour créer un système de combat pour un jeu. J'ai découvert Unity 4 en 2013 au studio Artefacts à Lyon en travaillant en tant que prestataire sur un jeu de course, et en réalisant des projets annexes. C'est à ce moment-là que j'ai commencé à tester mes idées sur l'animation en temps réel.

- Comment avez-vous eu l'idée de ce concept ? Avez-vous voulu utiliser un moteur en temps réel et créé M. Carton, ou l'inverse ?

En 2008, j'ai remporté un prix au festival d'animation d'Annecy avec le scénario d'un court métrage sur l'industrie du jeu, qui aurait été réalisé avec un moteur de jeu. L'esthétique de Feist a été la révélation qu'un moteur de jeu pouvait visuellement générer quelque chose de si singulier et attrayant qu'il pouvait être utilisé pour un film d'animation. Ce court métrage n'a jamais vu le jour, mais l'idée de réaliser un film avec un moteur en temps réel est restée à jamais ancrée dans les esprits. Le ver était dans la pomme, comme on dit en français...

En 2012, je faisais beaucoup de publicités, ce qui était très lucratif mais ennuyeux, et j'avais un papier sous mon clavier qui accumulait des idées pour une histoire se déroulant dans un monde en carton.

J'ai ensuite réalisé le premier "Teaser" de Mr Carton avec 3DSMax et VRay. Ma machine était lente, et le "ver" n'arrêtait pas de me dire que l'utilisation d'Unity me rendrait peut-être la vie plus facile.

En 2013, tout s'est concrétisé. Je travaillais en parallèle sur l'écriture de Mr Carton, un jeu de course réalisé avec Unity chez Artefacts Studios, et un petit projet parallèle sur Unity pour mes préadolescentes. Unity 5 était sur le point de sortir, et la chaîne de télévision franco-allemande, Arte, a demandé à Artefacts Studios de réaliser une séquence de titre pour leur programme pour enfants. Et nous avons décidé de le faire avec Unity.

Cela s'est très bien passé, et j'ai rapidement commencé la production de Mr Carton en utilisant Unity. Nous avons eu la chance d'avoir le soutien total de notre producteur bien-aimé(Tant Mieux Prod.) dans cette aventure. Ils croyaient fermement au potentiel de M. Carton et à la manière dont nous voulions créer son univers à l'aide d'Unity.

- Pouvez-vous nous expliquer la production et la chaîne de production, et en quoi elle diffère de la chaîne de production d'images de synthèse classique ?

Fabien Daphy, co-réalisateur, Nicolas Le Nevé, notre chef storyboarder, et moi-même, avons réalisé le storyboard et l'animatique dans ToonBoom. Le storyboard est un élément clé pour communiquer avec la production et le reste de l'équipe tout au long du projet. J'ai réalisé les premiers modèles 3D, rigs et animations dans 3DSMax, et ils ont été retravaillés, finalisés et nettoyés par notre superviseur 3D Olivier Roos en utilisant les mêmes outils. Tout a été exporté vers Unity via FBX Exporter.

Quatre animateurs (Raphaël Gauthey, Christophe Devaux, Samuel Chauvin et Fabien Bougas) et Bénédicte Peyrusse, superviseur de l'animation, ont réalisé la plupart des animations sur une période d'environ 2 mois. Nous sommes partis du principe que toutes les animations devaient être réalisées dans 3DSMax, y compris les reprises. Cependant, nous avons fini par faire de plus en plus de retouches directement dans la fenêtre d'animation d'Unity, car c'était le meilleur endroit pour ajuster les choses dans le contexte du plan (caméra, éclairage,...).

Nous avons rapidement dû engager un modeleur supplémentaire (François Beudin) pendant quelques mois, car nous avons fini par réutiliser moins de modèles que prévu. En particulier, le développement du modèle avec des bords en carton a pris beaucoup de temps.

Fabien et moi avons réalisé le greyboxing dans 3DSMax et Blender, sur la base du storyboard, et l'avons donné aux animateurs et aux modeleurs pour créer ce qui allait devenir les préfabriqués de chaque scène. Le décor était un grand objet contenant un tas d'objets individuels déjà en place (montagnes, routes,...) que nous pouvions ajuster plus tard dans Unity. Les arbres, les rochers et les autres détails étaient chacun un FBX individuel et sont rapidement devenus des préfabriqués que nous avons peints dans la scène directement dans Unity à l'aide de Quickbrush depuis l'Asset Store.

Fabien et moi avons fait tout l'éclairage et le compositing, et avons eu en moyenne 2 jours par épisode pour cela. Nous étions trop paresseux et trop occupés pour faire du compositing externe, alors nous avons tout fait dans Unity. L'étalonnage des couleurs se faisait par épisode, et la profondeur de champ, la floraison, l'occlusion ambiante se faisaient par plan.

Là où le flux de travail devient vraiment différent du pipeline hors ligne standard (long rendu CG, composition), c'est le séquençage. Nous avons utilisé Flux à partir de l'Asset Store pour effectuer tout le séquençage de chaque épisode directement dans l'éditeur. Nous avons choisi Flux parce qu'il était basé sur les images et permettait un séquençage précis des animations à 24 images par secondes. Nuno Afonso, le créateur de Flux, a été très réactif pour implémenter des fonctionnalités et corriger des bugs tout au long de la production.

Chaque animation a été dotée d'une marge supplémentaire autour de ce qui était requis dans le storyboard, et nous avons assemblé les animations, les modèles, les caméras, l'éclairage et le compositing dans le séquenceur. C'est au niveau du séquenceur que se produit le grand coup de pouce, en termes de temps et de créativité, dans un pipeline de production d'animation en temps réel.

Enfin, nous avons exporté la séquence vers une vidéo (via un script personnalisé exportant des séquences PNG) et effectué le montage final dans Adobe Premiere. Chaque plan de la séquence a été un peu plus long que prévu dans le storyboard pour permettre au montage final d'être réalisé en externe. Il a également permis de couvrir le "pompage" précalculé en temps réel du GI que nous avons parfois constaté lors de la transition d'une image à l'autre entre deux lieux éloignés.

Enfin, toute la musique et les sons (faits exclusivement à la bouche) ont été réalisés en direct sur l'animatique.

- Comment avez-vous réalisé l'éclairage ?

Nous avons utilisé le rendu différé (qui permet de nombreuses lumières en temps réel) et le rendu linéaire (éclairage plus réaliste). J'ai généré un second jeu d'UV à utiliser avec la GI précalculée en temps réel dans Unity pour chaque objet du décor. Je n'ai pas utilisé la génération automatique d'UVs dans Unity afin de garder un contrôle fort sur celle-ci. Nous avions principalement un éclairage indirect et les autres uniquement un éclairage direct. Pour certaines prises de vue, nous avons utilisé jusqu'à 40 lampes. À certaines occasions, nous avons utilisé des lumières indirectes supplémentaires (par exemple, la lumière bleue de l'OVNI a rebondi, et l'éclairage rouge sur la route était uniquement direct).

Nous avons utilisé de nombreux projecteurs avec des cookies (plus de 40, tous fabriqués à la main !) pour avoir un contrôle précis de l'éclairage et donner vie à la lumière. Dans certains épisodes, nous avons utilisé des éclairages volumétriques comme dans l'image ci-dessus pour les feux de la voiture et le laser de l'OVNI.

Pour les ombres, j'ai utilisé des ombres en temps réel, principalement sur la lumière directionnelle et parfois sur quelques lumières supplémentaires. J'ai également ajusté les paramètres de qualité pour chaque prise de vue afin d'obtenir différents aspects des ombres. En outre, j'ai utilisé deux types d'occlusions ambiantes dans l'espace de l'écran avec des rayons et des intensités différents pour créer des ombres supplémentaires(SSAO Pro et Unity Cinematic effects pack gratuit de l'Asset store). Nous n'avons pas utilisé la dernière version de la pile de post Processing d'Unity car nous avons verrouillé notre version d'Unity avant qu'elle ne soit disponible.

Ce ne sont là que quelques exemples parmi tant d'autres. Il n'y a pas de recette en matière d'éclairage, seulement des méthodes et des astuces. C'est l'histoire qui raconte l'éclairage, et nous avons utilisé de nombreuses astuces différentes pour chaque épisode.

- Avez-vous rencontré des problèmes d'aliasing ?

Pour obtenir l'effet d'arrêt sur image, nous voulions tourner à 12 images par seconde. Les animations peuvent être créées à 12 ou 24 images par seconde, mais nous n'avons pris que des images paires lors de l'exportation vers la vidéo à 24 FPS. Tout cela pour dire que nous ne voulions pas d'effet de flou de mouvement ! L'anticrénelage temporel n'est donc pas pris en compte. Au final, nous n'avons utilisé que le SMAA (Subpixel Morphological Anti Aliasing). Nous avons quelques plans où l'anticrénelage aurait pu être amélioré, mais nous étions généralement satisfaits de ce que nous avions et nous n'avons pas eu le temps d'y travailler davantage.

- Ce carton a l'air génial ! Comment avez-vous procédé ?

Nous avons utilisé de vraies photos de cartons que nous avons travaillées et nettoyées dans le style classique de la tradition des jeux vidéo, pour créer des tuiles et des rendus agréables. Sur l'ensemble des saisons, nous utilisons environ 10 textures. Nous avons créé environ six shaders dans Shader Forge en fonction de la complexité des personnages, en gérant différentes cartes de normalité et d'occlusion, ainsi que les marques de stylo.

- Maintenant que la production est terminée, diriez-vous qu'il valait la peine d'utiliser un moteur en temps réel plutôt que des méthodes plus "traditionnelles" ?

Nous n'aurions probablement jamais pu terminer dans ce délai et avec ce budget avec un processus hors ligne. Mais en fait, la question ne s'est jamais posée, car nous voulions de toute façon procéder de cette manière et tout s'est déroulé comme prévu. Le ver dans la pomme avait raison !

- Quel conseil donneriez-vous à quelqu'un qui souhaite démarrer son propre film avec Unity ?

N'essayez pas de refaire ce que vous pouvez déjà faire hors ligne. Construire une bonne vision dans la direction artistique technique, prendre les contraintes techniques comme un choix artistique, et le choix artistique comme des contraintes. Il est donc nécessaire d'acquérir des connaissances sur le fonctionnement des moteurs et du rendu en temps réel. Et puis, amusez-vous avec la liberté de création que vous aurez !