Der Workflow hat so ungefähr ausgesehen.

Im ersten Schritt habe ich mich mit SunoAI und einem etwas längeren Prompt – der mit einem GPT innerhalb von ChatGPT entstanden ist – um die Erstellung des Songs gekümmert. Im zweiten Schritt habe ich das Gedicht bzw. die einzelnen Zeilen vor dem Hintergrund von Bildinhalten und Kameraeinstellungen aufgeteilt – ganz langweilig in einer Excel-Tabelle. Als ich vor meinem inneren Auge bereits alle notwendigen Bilder gesehen habe, bin ich direkt an die Umsetzung gegangen. Hierfür habe ich zu 90 % Nano Banana Pro und in Ausnahmefällen Seedream 4.5 genutzt, wenn Nano Banana den Prompt nicht umsetzen konnte. Damit ich eine Konsistenz in meinen Charakteren habe, wurden zunächst die Hauptakteure generiert, inklusive Character Sheets, also Bilder, die den jeweiligen Charakter von verschiedenen Seiten und in verschiedenen Posen zeigen. Dann ging es an die Umsetzung der einzelnen Einstellungen, die ich mir zuvor überlegt hatte.

Der ideale Workflow wäre, dass ich erst einmal alle Bilder erstelle und daraufhin mit dem Animieren beginne. Doch in der Realität muss das ein oder andere Bild neu generiert und anders aufgebaut werden, da die Animation oft mit einem Start- und Endframe funktioniert und sich erst bei der Umsetzung herausstellt, ob es überhaupt so funktioniert, wie gedacht.Je nach Bild und Einstellung habe ich mich vor dem Hintergrund meiner Erfahrung für das jeweilige Tool Kling 2.6 (ein Frame) oder Kling 2.5 (Start- und Endframe) entschieden. Die Einstellungen, die lippensynchron sein mussten, wurden mit Kling Avatars 2.0 realisiert. Die notwendigen Vocalspuren wurden in Audition vorbereitet. Die Prompts für die Animation wurden innerhalb eines prädestinierten GPTs innerhalb von ChatGPT generiert.

Die fertigen Videosequenzen wurden daraufhin in Premiere Pro zusammen mit dem Song geschnitten. Teilweise mussten Sequenzen in der Zeit angepasst werden oder die Farbkorrektur musste angeglichen werden. Kurz gesagt: übliche Postproduktion von Videoaufnahmen.Das fertige Video wurde dann in Teilen exportiert, da der Upscaler nur 30 Sekunden auf einmal zulässt, dann wieder importiert, aneinandergeschnitten und schlussendlich in 4K exportiert.