Słownik AI / Lip-sync

🎨 Obraz, wideo i dźwięk

Lip-sync w kontekście AI to automatyczne dopasowanie ruchu ust postaci na wideo do podłożonej ścieżki audio. Model analizuje dźwięk i tak modyfikuje usta (a często całą mimikę), żeby wyglądało, jakby postać naprawdę wypowiadała te słowa.

To technologia stojąca za nową generacją dubbingu - film „mówi” w obcym języku ustami aktora - oraz za gadającymi awatarami do kursów i marketingu. W duecie z klonowaniem głosu daje pełny pakiet syntetycznego mówcy, ze wszystkimi tego dobrymi i złymi konsekwencjami.