Sprekende avatar en lipsynchronisatie

Een pratende avatar bestaat uit twee motoren in een harnas: de ene creëert het gezicht en de gezichtsuitdrukkingen, de tweede synchroniseert de lippen met geluid (lipsynchronisatie). Het neurale netwerk breekt spraak op in fonemen (kleine geluiden) en selecteert de vorm van de mond die daarbij past. Vandaar de hoofdregel: schrijf het script zoals ZIJ ZEGGEN, niet zoals zij schrijven. Korte zinnen, eenvoudige woorden, zonder lange deelwoordzinnen - anders zullen de lippen "kauwen" en zal de niet-synchronisatie duidelijk zijn. Mechanica van gezichtsuitdrukkingen: het model leest de emotie uit de beschrijving en leestekens, geeft zo duidelijk de stemming aan (“vriendelijk, met een lichte glimlach”) en onderstreept pauzes. Insider: bewaar één emotie per regel. Een scherpe verandering van "vreugde - woede - verdriet" in drie seconden breekt het gezicht in een onnatuurlijk masker. De tweede techniek is ongeveer 2 woorden per seconde: als je veel tekst in een kort fragment propt, raakt de lipsynchronisatie in de war. Bereken vooraf de lengte van de voice-over. Een typische fout is het schrijven van robottekst met afkortingen en cijfers (“ROI verhoogd met 27,4%”): het model zal het scheef uitspreken. Ontcijfer het in woorden en test het op het gehoor.