SeedVR2: podbicie klipu AI z 480p do 1080p na własnej karcie

👁 120 przeczytań

Sprawdziłem SeedVR2 jako końcowy etap obróbki klipu AI po poprawieniu lip-sync. Wariant 7B fp8 podniósł materiał z 832×480 do 1872×1080, a obliczenia dla 20 s trwały 1034 s. Na porównaniu przed i po najlepiej widać zmianę wokół twarzy, okularów i ubrania. To przydatne wykończenie wybranego ujęcia, ale nie sposób na naprawienie wszystkich błędów generacji.

Skąd wziął się klip 480p

Punktem wyjścia był fragment piosenki „Kiedy po swojemu gram”, wykorzystany także do porównania modeli lip-sync. Najpierw powstał obraz w Seedance 2.5 przez API. Następnie przepuściłem gotowe wideo przez lokalny InfiniteTalk w trybie V2V. Ten etap poprawił zgodność ruchu ust z wokalem, ale oddał materiał w rozdzielczości 832×480.

Taka kolejność miała konkretny cel. Seedance dał atrakcyjną wizualnie bazę, lecz w pomiarze synchronizacji uzyskał 0,153. Po InfiniteTalk V2V wynik wzrósł do 0,366. Dopiero wtedy zająłem się rozdzielczością. Gdybym wcześniej powiększył niezaakceptowane ujęcie, mógłbym poświęcić czas na detal w klipie, który i tak wymagałby ponownej obróbki.

Wybrałem więc gotowy fragment do wykończenia, a nie surowy zbiór wszystkich generacji. To sposób pracy, który powtórzyłbym przy dłuższym montażu: najpierw ocena sceny, mimiki i zgodności z muzyką, później kosztowniejsza obróbka obrazu. Upscaler nie rozstrzyga, czy samo ujęcie pasuje do utworu.

SeedVR2 7B fp8 i wynik pomiaru

Czas traktuję jako wynik tego konkretnego uruchomienia na własnej karcie RTX 4090. Nie przeliczam go na gwarantowaną wydajność dla dowolnego filmu. Zmiana długości, wymiarów, sposobu zarządzania pamięcią albo ustawień przetwarzania może zmienić zachowanie całego zadania. W raporcie nie ma serii prób pozwalającej opisać ten wpływ liczbowo.

Także określenie „1080p” wymaga doprecyzowania. W tym przypadku oznacza wysokość obrazu, a rzeczywisty wynik to 1872×1080. Nie podmieniam szerokości na zwyczajowo oczekiwaną wartość ani nie deklaruję przycięcia kadru. Przy osadzaniu klipu w projekcie montażowym sprawdziłbym dopasowanie do płótna, żeby nie rozciągnąć postaci.

Porównanie przed i po: co rzeczywiście widać

Na przygotowanym porównaniu lewa strona jest bardziej miękka. Kontury okularów, krawędzie kapelusza i okolice ust mają mniej wyraźne przejścia. Po prawej łatwiej odczytać oprawki, zarost i strukturę bluzy. Różnicę widać szczególnie wtedy, gdy skupiam uwagę na twarzy, zamiast oceniać wyłącznie ogólne kolory sceny.

Nie opisuję tego jako odzyskania prawdziwych szczegółów z oryginalnego nagrania. Materiał powstał generatywnie, a SeedVR2 rekonstruuje detale. Wyraźniejsza faktura może być przekonująca, choć nie jest wiernym zapisem czegoś istniejącego przed generacją. Dlatego przy twarzy sprawdzam przede wszystkim spójność postaci, kształt ust i wygląd okularów.

Statyczne zestawienie wystarcza do pokazania czytelności detalu w wybranym kadrze. Nie pozwala jednak samo w sobie potwierdzić stabilności w ruchu. Nie wyciągam z niego wniosku o braku migotania w całym klipie ani o identyczności wszystkich klatek. To rozróżnienie chroni przed oceną wideo wyłącznie na podstawie atrakcyjnego zrzutu.

Jak układam etap upscale w ComfyUI

Wykorzystana rodzina narzędzi ma integrację ComfyUI-SeedVR2_VideoUpscaler. W opisanym workflowie występują SeedVR2LoadDiTModel, SeedVR2LoadVAEModel oraz SeedVR2VideoUpscaler. Osobno wskazany jest opcjonalny SeedVR2TorchCompileSettings. Nie traktuję tego ostatniego jako dodatkowego pliku z wagami do pobrania.

W praktycznym planie łączę zaakceptowany materiał wejściowy z loaderem właściwego modelu i VAE, a następnie ustawiam docelową wysokość obrazu. W notatkach z testu zapisano wywołanie lokalnego helpera: python klip.py upscale <klip.mp4> 1080. To interfejs skryptu użytego w próbie, nie uniwersalna komenda dostępna po samej instalacji rozszerzenia.

Nie dopisuję pełnego presetu jako sprawdzonego, ponieważ raport go nie zawiera. Potwierdza wariant 7B fp8, rozdzielczość, czas i miejsce tego etapu w procesie. Wcześniejsza karta narzędzia opisuje również pliki wariantu 3B. Nie mieszam rozmiarów tych checkpointów z modelem wykorzystanym w pomiarze.

Pamięć i ustawienia: co jest wskazówką, a co wynikiem

W karcie SeedVR2 opisano offload na CPU, block swap i kafelkowanie VAE jako sposoby ograniczania presji na pamięć karty. Przy planowaniu własnego grafu uwzględniam te możliwości, ale nie przypisuję im konkretnego zysku czasowego. Test nie zawiera porównania ustawień ani pomiaru szczytowego wykorzystania VRAM i RAM.

Jeżeli pojawia się brak pamięci, zaczynam od oddzielenia etapów pracy i ograniczenia równoczesnego trzymania modeli. Potem sprawdzam ustawienia wymiany bloków, wielkość przetwarzanej partii oraz docelowy obraz. To wskazówki diagnostyczne z dokumentacji, nie lista błędów, które wystąpiły w opisanym uruchomieniu. Nie przedstawiam ich jako wykonanych napraw.

Przy dłuższym materiale podzieliłbym pracę według zaakceptowanych ujęć. Sam wolny VRAM nie dowodzi, że całość zmieści się w pamięci systemowej. Jednocześnie nie zmniejszałbym partii bez sprawdzenia skutków dla spójności czasowej. Oszczędność pamięci ma sens tylko wtedy, gdy wynik nadal nadaje się do montażu.

Czego upscale nie poprawił w udokumentowanym teście

Nie mam osobnego pomiaru pokazującego wzrost synchronizacji po SeedVR2. W tabeli wyników przy tym etapie znajduje się odwołanie do wcześniejszej wartości. Wniosek pozostaje więc ograniczony: InfiniteTalk V2V poprawił lip-sync, a SeedVR2 podniósł rozdzielczość i zmienił detal obrazu. Nie łączę tych rezultatów w obietnicę automatycznej naprawy śpiewu.

Nie przypisuję też upscalerowi zmiany klatkażu. Interpolacja klatek to osobne zadanie, opisane w dokumentacji przy RIFE. Nie była podstawą tego pomiaru SeedVR2. Podobnie poprawa ostrości nie naprawia automatycznie dłoni, błędnego instrumentu czy nieprzekonującego ruchu. Takie problemy oceniam jeszcze przed wyborem materiału do wykończenia.

Koszt i licencja w praktycznym wyborze

Etap upscale obciążał lokalny sprzęt, a zapis kosztu wskazuje prąd. Nie mam pomiaru energii, więc nie podaję ceny za klip. Cała ścieżka obejmowała wcześniej płatne Seedance, toteż określenie „lokalny upscale” nie oznacza, że gotowy materiał powstał bez wydatków na wcześniejszych etapach.

W źródłowym zestawieniu repozytorium integracji SeedVR2 oraz oficjalny projekt SeedVR opisano licencją Apache-2.0. Sprawdziłem te informacje oddzielnie od parametrów testu. Przy doborze dodatkowych wag i rozszerzeń odnoszę warunki do konkretnego komponentu. Uprawnienia do samego kodu nie zastępują też praw do obrazu i muzyki, które poddaję obróbce.

Najczęstsze pytania

Czy SeedVR2 zrobił z tego klipu materiał 1080p?

Tak, wynik miał 1872×1080. Podaję pełne wymiary, ponieważ sama nazwa docelowej jakości nie opisuje proporcji. Przy eksporcie sprawdziłbym dopasowanie klipu do projektu bez rozciągania twarzy.

Czy wariant 7B fp8 jest lepszy od 3B?

Nie sprawdziłem ich w bezpośrednim porównaniu na tym materiale. Raport dokumentuje użycie 7B fp8. Nie wyprowadzam rankingu jakości ani szybkości z samej nazwy większego modelu.

Czy wystarczy ocenić pojedynczy kadr?

Nie. Na kadrze sprawdziłem detal, lecz przed akceptacją całego ujęcia potrzebny jest odsłuch i oglądanie w ruchu. Szczególnie przy ustach wyraźniejszy obraz może mocniej eksponować wcześniejszy błąd.

Kiedy użyłbym SeedVR2 ponownie?

Po zaakceptowaniu sceny i playbacku, gdy niska rozdzielczość ogranicza wykorzystanie klipu w montażu. Ten test uzasadnia taki etap wykończenia, ale nie daje podstaw do powiększania bez selekcji każdej wygenerowanej wersji.

Klip do testu powstał w Seedance i przeszedł lokalny lip-sync w ComfyUI. Inne modele na własnej karcie opisuję w przewodniku Lokalne AI.