말하는 아바타와 립싱크

말하는 아바타는 하네스에 있는 두 개의 엔진입니다. 하나는 얼굴과 표정을 생성하고, 두 번째는 입술과 소리를 동기화합니다(립싱크). 신경망은 말을 음소(작은 소리)로 나누고 그에 맞는 입 모양을 선택합니다. 따라서 주요 규칙은 그들이 쓴 대로가 아니라 그들이 말하는 대로 스크립트를 작성하는 것입니다. 짧은 문구, 간단한 단어, 긴 참여 문구가 없는 경우 - 그렇지 않으면 입술이 "씹힐" 것이며 동기화되지 않은 부분이 분명해질 것입니다. 얼굴 표정의 메커니즘: 모델은 설명과 구두점에서 감정을 읽어 기분을 명확하게 표시하고("친절하고 약간 미소를 지으며") 구두점을 일시 중지합니다. 내부자: 한 줄에 하나의 감정을 유지합니다. 3초 만에 '기쁨-분노-슬픔'의 급격한 변화가 얼굴을 부자연스러운 가면으로 깨뜨린다. 두 번째 기술은 초당 약 2단어입니다. 짧은 클립에 많은 텍스트를 집어넣으면 립싱크가 엉망이 됩니다. 음성 해설의 길이를 미리 계산하십시오. 일반적인 실수는 약어와 숫자(“ROI 증가 27.4%”)를 사용하여 로봇 텍스트를 작성하는 것입니다. 모델이 이를 비뚤어지게 발음합니다. 말로 해독하고 귀로 테스트하십시오.