Tencent WeMM-Video czyta obraz i słucha filmu. Cztery modele do pobrania
Sprawdziłem pliki czterech modeli Tencent do analizy obrazu z dźwiękiem. Zobacz, ile zajmują wagi i jak ocenić odpowiedź na klip z polskimi zapowiedziami.

Spis treści 6
👁 111 przeczytań
Na filmie z peronu tablica pokazuje jeden tor, a z głośnika pada numer drugiego. Co właściwie usłyszał pasażer? WeMM-Video od zespołu WeChat Vision może dostać klatki razem z oryginalną ścieżką i odpowiedzieć tekstem. Sprawdziłem, co Tencent udostępnił 20 listopada i co można sprawdzić samemu na takim nagraniu.
Które wagi są dostępne?
W publicznej kolekcji są trzy modele gęste (2B, 4B i 9B) oraz 35B-A3B z architekturą mixture of experts. Zsumowałem pliki wag w podstawowym formacie BF16. Sam wariant 2B zajmuje około 6,57 GB, a największy 72,36 GB. Do pobrania dochodzą konfiguracja i pliki procesora. Pamięć potrzebna podczas pracy to osobna wielkość.
Co słychać na polskim peronie?
Do własnej próby wybrałbym fragment, w którym numer na tablicy i zapowiedź da się sprawdzić oddzielnie. Polecenie brzmi: „Zapisz, jaki tor widać i jaki słychać. Jeśli któregoś numeru nie rozpoznajesz, zostaw puste pole”. Potem puściłbym ten sam klip bez dźwięku i porównał odpowiedzi z nagraniem. To propozycja próby. Autorzy opisują obsługę angielskiego i chińskiego, a skuteczność na polskich zapowiedziach wymaga oddzielnego pomiaru.
Dana dźwiękowa ma znaczenie także przy tworzeniu napisów. Polski poradnik dostępności cyfrowej pokazuje, kiedy napisy rozszerzone powinny oddać odgłos istotny dla widza. Sama odpowiedź modelu wymaga sprawdzenia przed użyciem jako napis.
Nagranie NASA Goddard pokazuje krok Armstronga. Repozytorium Tencent wykorzystuje archiwalną sekwencję Apollo 11 do porównania odpowiedzi z dźwiękiem i bez niego.
Co policzyć przed pobraniem?
Tencent udostępnia wagi na licencji Apache 2.0 z osobnymi warunkami dla wskazanych komponentów. Karta modelu nie podaje polskiej taryfy za analizę minuty filmu.
Znając rozmiar plików, oszacuj czas pobierania wag i zarezerwuj miejsce na dysku na kilka wersji. Jeśli szukasz innych narzędzi do porównania, przejdź do zestawienia porównaj modele AI.
Kiedy udostępniono wagi?
Repozytorium z kodem stało się publiczne 17 listopada, a autorzy zgłosili pracę do arXiv 19 listopada. W historii wag BF16 z 20 listopada pierwszy kompletny zestaw (2B) ma godzinę 02:41:08 czasu polskiego, a ostatni (9B) 06:08:27.
Czy WeMM-Video tworzy filmy?
Model odpowiada tekstem. Może opisać czynność pokazaną w filmie albo odnieść się do słów, które słychać w oryginalnym nagraniu.
Za WeMM-Video odpowiada zespół WeChat Vision. Inne prace Tencent opisałem w polskim teście modelu Hy4 i w przeglądzie rodziny Hunyuan.
Źródła
- Tencent WeChat Vision - WeMM-Video
- Tencent - Hugging Face
- WeMM-Video - arXiv
- Tencent - Apollo 11
- Tencent - Apache 2.0
- Polski poradnik dostępności cyfrowej - multimedia
Wydawca: PROMPTOWY Piotr Olszewski. Polityka redakcyjna · Zgłoś błąd lub poprawkę · Redakcja i kontakt

Autor
Twórca i autor Promptowego, polskiego serwisu o sztucznej inteligencji. Codziennie śledzi premiery modeli, narzędzia i regulacje AI, i tłumaczy je prostym, konkretnym językiem.
Czytaj dalej
Artykuły · Jak pisać prompt do 30-sekundowego filmu w Kling 4.0 - szablon na 5 gatunkówŚwiatło przed scenografią, krótkie dialogi i ujęcia z czasem. Daję szkielet promptu oraz 5 nowych wzorów opartych na testach, z wyjaśnieniem poprawek...
Artykuły · Image to video AI - film ze zdjęcia po polsku: od obrazu do ruchomej scenyImage to video AI i photo to video AI po polsku. Dobór obrazu, ruch kamery, przykładowe opisy oraz kontrola stabilności przed eksportem.- przelomowy.plBlisko połowa z 50 wad modeli AI wygasa po ok. 16 miesiącach - wstępna analiza
- generatornia.plŻyczenia świąteczne obrazek: jak zrobić kartkę AI na komunikatory
- dygot.plChatGPT zmienia ekran. Nowa aplikacja spycha czat na drugi plan
- przewagi.plAutomatyzacja faktur: zacznij od obiegu i wyjątków, potem dodaj AI



