Sprechender Avatar und Lippensynchronisation

Bei einem sprechenden Avatar sind zwei Motoren im Einsatz: Der eine erzeugt das Gesicht und die Mimik, der zweite synchronisiert die Lippen mit dem Ton (Lippensynchronisation). Das neuronale Netzwerk zerlegt die Sprache in Phoneme – kleine Laute – und wählt die dazu passende Mundform aus. Daher die Hauptregel: Schreiben Sie das Drehbuch so, wie SIE SAGEN, nicht wie sie es schreiben. Kurze Sätze, einfache Wörter, ohne lange Partizipationssätze – sonst „kauen“ die Lippen und die Diskrepanz wird offensichtlich. Mechanik des Gesichtsausdrucks: Das Modell liest die Emotionen aus der Beschreibung und den Satzzeichen ab, zeigt also deutlich die Stimmung an („freundlich, mit einem leichten Lächeln“) und setzt Pausen. Insider: Behalten Sie eine Emotion pro Zeile bei. Ein scharfer Wechsel von „Freude – Wut – Traurigkeit“ innerhalb von drei Sekunden verwandelt das Gesicht in eine unnatürliche Maske. Bei der zweiten Technik geht es um etwa 2 Wörter pro Sekunde: Wenn Sie viel Text in einen kurzen Clip packen, wird die Lippensynchronisation durcheinander geraten. Berechnen Sie im Voraus die Länge des Voiceovers. Ein typischer Fehler besteht darin, Robotertext mit Abkürzungen und Zahlen zu schreiben („ROI um 27,4 % gestiegen“): Das Modell wird ihn schief aussprechen. Entschlüsseln Sie es in Worten und testen Sie es nach Gehör.