Mr Carton - Die erste Zeichentrickserie der Welt MadeWithUnity

Mein Name ist Mathieu Muller und ich bin Field Engineer in EMEA und Filmspezialist bei Unity. Letzten November habe ich während der Unite Los Angeles ein Panel mit dem Titel "Unity For film" organisiert, in dem verschiedene Anwendungen von Unity in der Filmindustrie vorgestellt wurden(The Gift von Marza Animation Planet, Disneys Jungle Book Previz, der Kurzfilm Adam von Unity, der Kurzfilm Sonder von Soba Productions, Video-Playback am Set für den Film Passengers und die Zeichentrickserie Mr Carton von Tant Mieux Productions), zusammen mit einigen der Leute, die an diesen Projekten gearbeitet haben.

Diese Woche startet Mr. Carton, die erste für das Fernsehen produzierte Zeichentrickserie #MadeWithUnity, auf der nationalen französischen TV-Website.

Heute ist Michaël Bolufer, der Schöpfer, Designer, Co-Regisseur, Co-Szenarist, Hauptbeleuchter und Feuerwehrmann-Animator der 13 Episoden der zweiminütigen Serie, mein Gast, um über diese Produktion zu sprechen.

- Was ist die Geschichte von Mr. Carton?

Mr. Carton ist ein ungeschickter Fahrer, der einen Leuchtturm auf dem Gipfel eines Berges erreichen will. Das ist die Handlung! Aber jedes einzelne Fahrzeug, jeder kleine Stein könnte eine Gefahr darstellen.

Die größte Gefahr ist vor allem er selbst: Er hat schlechte Fahrkünste, als ob er nicht dort sein sollte...

- Michaël, kommst du aus der Spiele- oder aus der Filmindustrie?

Ich habe vor 15 Jahren in einer Videospielfirma (Etranges Libellules in Lyon) als Grafiker, dann als Game/Level Designer und Cinematic Designer angefangen. Nach 4 Jahren in der Spieleindustrie wollte ich noch weiter gehen und wechselte als CG-Künstler und Art Director in die Filmindustrie. Meine Erfahrung in der Spieleindustrie hat mir in der CG-Industrie sehr geholfen, effizient zu arbeiten und die Einschränkungen der Maschinen zu kennen. Jetzt spiele ich Pingpong zwischen den beiden Branchen, arbeite als Auftragnehmer oder an meinen eigenen Produktionen von Spielen und Zeichentrickserien.

- Welche Spiel-Engines haben Sie verwendet?

Als ich bei Etranges Libellules gearbeitet habe, habe ich eine hauseigene Engine verwendet, die für unsere Arbeit wirklich gut geeignet war, insbesondere für das Kamerasystem. Ich habe sechs Monate lang mit Epic UDK gearbeitet, um ein Kampfsystem für ein Spiel zu entwickeln. Ich entdeckte Unity 4 im Jahr 2013 im Artefacts Studio in Lyon, wo ich als Auftragnehmer an einem Rennspiel arbeitete und Nebenprojekte realisierte. Zu diesem Zeitpunkt begann ich, meine Ideen zur Echtzeitanimation zu testen.

- Wie sind Sie auf das Konzept gekommen? Wollten Sie eine Echtzeit-Engine verwenden und haben Mr. Carton erschaffen, oder war es umgekehrt?

2008 gewann ich einen Preis beim Animationsfestival in Annecy mit dem Szenario eines Kurzfilms über die Spieleindustrie, der mit einer Spiele-Engine gedreht worden wäre. Die Ästhetik von Feist war die Offenbarung, dass eine Spiele-Engine visuell etwas so Einzigartiges und Attraktives erzeugen kann, dass es für einen Animationsfilm verwendet werden kann. Dieser Kurzfilm wurde nie realisiert, aber die Idee, einen Film mit einer Echtzeit-Engine zu machen, wurde für immer festgehalten. Der Wurm steckte im Apfel, wie wir auf Französisch sagen...

Im Jahr 2012 drehte ich viele Werbespots, was sehr lukrativ, aber langweilig war, und ich hatte ein Blatt Papier unter meiner Tastatur, auf dem ich Ideen für eine Geschichte sammelte, die in einer Pappwelt spielt.

Dann habe ich den ersten "Teaser" von Mr. Carton mit 3DSMax und VRay erstellt. Mein Rechner war langsam, und der "Wurm" sagte mir immer wieder, dass die Verwendung von Unity mein Leben vielleicht verbessern würde.

Im Jahr 2013 kam alles zusammen. Ich arbeitete parallel an der Entwicklung von Mr. Carton, einem Rennspiel, das in den Artefacts Studios mit Unity entwickelt wurde, und an einem kleinen Nebenprojekt für meine Tween-Mädchen in Unity. Unity 5 stand vor der Tür, und der deutsch-französische Fernsehsender Arte beauftragte Artefacts Studios mit der Realisierung einer Titelsequenz für sein Kinderprogramm. Und wir haben beschlossen, es mit Unity zu machen.

Es lief sehr gut, und schon bald begann ich mit der Produktion von Mr. Carton in Unity. Wir hatten das große Glück, bei diesem Abenteuer die volle Unterstützung unseres geliebten Produzenten(Tant Mieux Prod.) zu haben. Sie glaubten fest an das Potenzial von Mr. Carton und an die Art und Weise, wie wir sein Universum mit Unity gestalten wollten.

- Können Sie die Produktion und die Pipeline erklären und wie sie sich von der Standard-CG-Pipeline unterscheidet?

Fabien Daphy, der Co-Regisseur, Nicolas Le Nevé, unser Chef-Storyboarder, und ich haben das Storyboard und die Animationen in ToonBoom erstellt. Das Storyboard ist ein Schlüsselelement für die Kommunikation mit der Produktion und dem Rest des Teams während des gesamten Projekts. Die ersten 3D-Modelle, Rigs und Animationen habe ich in 3DSMax erstellt, und sie wurden von unserem 3D-Supervisor Olivier Roos mit denselben Tools überarbeitet, finalisiert und bereinigt. Alles wurde über FBX nach Unity exportiert.

Vier Animatoren (Raphaël Gauthey, Christophe Devaux, Samuel Chauvin und Fabien Bougas) und Benedicte Peyrusse, die für die Animation verantwortlich war, produzierten den Großteil der Animationen in einem Zeitraum von etwa 2 Monaten. Wir begannen mit dem Prinzip, alle Animationen in 3DSMax zu erstellen, einschließlich der Wiederholungen. Am Ende haben wir aber immer mehr Retakes direkt im Animationsfenster von Unity gemacht, weil wir dort am besten die Dinge im Kontext der Aufnahme anpassen konnten (Kamera, Beleuchtung,...).

Bald mussten wir für einige Monate einen zusätzlichen Modellierer (François Beudin) einstellen, da wir weniger Modelle als geplant wiederverwenden konnten. Vor allem die Entwicklung des Modells mit Kartonkanten war sehr zeitaufwändig.

Fabien und ich erstellten das Greyboxing in 3DSMax und Blender, basierend auf dem Storyboard, und gaben es an die Animatoren und Modellierer weiter, um die Prefabs der einzelnen Szenen zu erstellen. Die Szenerie war ein großes Objekt, das bereits eine Reihe von Einzelobjekten enthielt (Berge, Straßen,...), die wir später in Unity anpassen konnten. Bäume, Felsen und andere Details waren jeweils ein eigenes FBX und wurden bald zu Prefabs, die wir direkt in Unity mit Quickbrush aus dem Asset Store in die Szene malten.

Fabien und ich haben die gesamte Beleuchtung und das Compositing gemacht und hatten im Durchschnitt 2 Tage pro Folge Zeit dafür. Wir waren zu faul und zu beschäftigt, um externes Compositing zu machen, also haben wir alles in Unity gemacht. Die Farbkorrekturen erfolgten pro Episode, und Schärfentiefe, Bloom und Ambient Occlusion wurden pro Aufnahme vorgenommen.

Der Workflow unterscheidet sich von der Standard-Offline-Pipeline (langes CG-Rendering, Compositing) vor allem durch die Sequenzen. Wir haben Flux aus dem Asset Store verwendet, um die gesamte Sequenzierung der einzelnen Episoden direkt im Editor durchzuführen. Wir haben uns für Flux entschieden, weil es framebasiert ist und eine präzise Sequenzierung von Animationen mit 24 Bildern pro Sekunde ermöglicht. Nuno Afonso, der Schöpfer von Flux, war sehr reaktionsschnell bei der Implementierung von Funktionen und der Behebung von Fehlern während der gesamten Produktion.

Jede Animation wurde mit einem zusätzlichen Spielraum um die Anforderungen des Storyboards versehen, und wir haben Animationen, Modelle, Kameras, Beleuchtung und Compositing im Sequencer zusammengefügt. Der Sequencer ist der Ort, an dem ein großer zeitlicher und kreativer Schub in einer Echtzeit-Animationsproduktionspipeline stattfindet.

Schließlich haben wir die Sequenzen in ein Video exportiert (über ein benutzerdefiniertes Skript, das PNG-Sequenzen exportiert) und den endgültigen Schnitt in Adobe Premiere durchgeführt. Jede Einstellung in der Sequenz war etwas länger als im Storyboard geplant, damit der endgültige Schnitt extern durchgeführt werden konnte. Damit konnte auch das vorberechnete GI-"Pumpen" in Echtzeit abgedeckt werden, das manchmal auftrat, wenn in einem Bild zwischen zwei entfernten Orten gewechselt wurde.

Schließlich wurden die Musik und die Geräusche (die ausschließlich mit dem Mund gemacht wurden) live auf dem Animationsfilm aufgenommen.

- Wie haben Sie die Beleuchtung gemacht?

Wir haben Deferred (ermöglicht viele Lichter in Echtzeit) und Linear (realistischere Beleuchtung) Rendering verwendet. Ich habe für jedes Objekt der Szenerie einen zweiten Satz UVs generiert, die mit dem vorberechneten Echtzeit-GI in Unity verwendet werden. Ich habe die automatische Generierung von UVs innerhalb von Unity nicht verwendet, um eine starke Kontrolle darüber zu behalten. Wir hatten hauptsächlich eine Leuchte für indirekte Beleuchtung und den Rest nur für direkte Beleuchtung. Bei einigen Aufnahmen haben wir bis zu 40 Lichter verwendet. Bei einigen Gelegenheiten verwendeten wir zusätzliche indirekte Lichter (z. B. wurde das blaue Licht des UFOs zurückgeworfen, und das rote Licht auf der Straße war nur direkt).

Wir haben viele Projektoren mit Keksen verwendet (mehr als 40, alle handgefertigt!), um die Beleuchtung präzise steuern zu können und dem Licht Leben einzuhauchen. In einigen Episoden haben wir volumetrische Beleuchtung verwendet, wie im Bild oben für die Lichter des Autos und den Laser des UFOs.

Für die Schatten habe ich Echtzeit-Schatten verwendet, meistens mit dem gerichteten Licht und manchmal mit ein paar zusätzlichen Lichtern. Ich habe auch die Qualitätseinstellungen für jede Aufnahme angepasst, um verschiedene Aspekte der Schatten zu erhalten. Darüber hinaus habe ich zwei Arten von Screen Space Ambient Occlusions mit unterschiedlichen Radien und Intensitäten für zusätzliche Schatten verwendet(SSAO Pro und Unity free Cinematic effects pack aus dem Asset Store). Wir haben nicht den neuesten Unity Post Processing Stack verwendet, da wir unsere Version von Unity gesperrt haben, bevor dieser verfügbar war.

Dies sind nur einige Beispiele von vielen. Für die Beleuchtung gibt es kein Rezept, nur Methoden und Tricks. Die Geschichte ist diejenige, die die Beleuchtung erzählt, und wir haben bei jeder Episode viele verschiedene Tricks angewandt.

- Hatten Sie Probleme mit Aliasing?

Um den Stop-Motion-Effekt zu erzielen, wollten wir mit 12 Bildern pro Sekunde drehen. Animationen können mit 12 oder 24 Bildern pro Sekunde erstellt werden, aber wir haben nur gleichmäßige Bilder aufgenommen, wenn wir mit 24 FPS in ein Video exportiert haben. Das heißt, wir wollten keine Bewegungsunschärfe! Dadurch wurde das temporale Anti-Aliasing verworfen. Daher haben wir letztendlich nur SMAA (Subpixel Morphological Anti Aliasing) verwendet. Wir haben einige Aufnahmen, bei denen das Anti-Aliasing hätte verbessert werden können, aber wir waren im Allgemeinen mit dem zufrieden, was wir hatten, und hatten keine Zeit, weiter daran zu arbeiten.

- Dieser Karton sieht großartig aus! Wie haben Sie das gemacht?

Wir haben echte Fotos von Pappkartons verwendet, die wir in klassischer Spieltradition bearbeitet und bereinigt haben, um sie schön zu kacheln und zu rendern. In den gesamten Jahreszeiten verwenden wir etwa 10 Texturen dafür. Je nach Komplexität der Figuren haben wir etwa sechs Shader in Shader Forge erstellt, die verschiedene Normal- und Occlusion-Maps verwalten, plus die Stiftmarkierungen oben drauf.

- Würden Sie jetzt, da die Produktion abgeschlossen ist, sagen, dass es sich gelohnt hat, eine Echtzeit-Engine im Vergleich zu "traditionellen" Methoden einzusetzen?

Mit einem Offline-Prozess hätten wir wahrscheinlich niemals in dieser Zeit und mit diesem Budget fertig werden können. Aber eigentlich hat sich die Frage gar nicht gestellt, weil wir es sowieso so machen wollten und alles so gelaufen ist wie geplant. Der Wurm im Apfel hatte Recht!

- Was würden Sie jemandem raten, der seinen eigenen Film mit Unity starten möchte?

Versuchen Sie nicht, das, was Sie jetzt tun können, offline zu wiederholen. Entwickeln Sie eine gute Vision für die technische Ausrichtung der Kunst, nehmen Sie die technischen Zwänge als künstlerische Entscheidung und die künstlerische Entscheidung als Zwänge. Es ist daher notwendig, sich ein gewisses Wissen über die Funktionsweise von Echtzeit-Rendering und -Engines anzueignen. Und dann, viel Spaß mit der kreativen Freiheit, die Sie bekommen werden!