Słownik AI / Lip-sync
🎨 Obraz, wideo i dźwięk
Lip-sync
Dopasowanie ruchu ust postaci na wideo do dowolnej ścieżki dźwiękowej.
Lip-sync w kontekście AI to automatyczne dopasowanie ruchu ust postaci na wideo do podłożonej ścieżki audio. Model analizuje dźwięk i tak modyfikuje usta (a często całą mimikę), żeby wyglądało, jakby postać naprawdę wypowiadała te słowa.
To technologia stojąca za nową generacją dubbingu - film „mówi” w obcym języku ustami aktora - oraz za gadającymi awatarami do kursów i marketingu. W duecie z klonowaniem głosu daje pełny pakiet syntetycznego mówcy, ze wszystkimi tego dobrymi i złymi konsekwencjami.
Pojęcia powiązane