WeMM-Video di Tencent osserva il filmato e ascolta l’audio originale
Ho verificato i file dei quattro modelli WeMM-Video. Una prova con una battuta fuori scena aiuta a distinguere quello che il modello vede da ciò che sente.

Indice 5
- WeMM-Video analizza insieme le immagini e il suono originale e risponde per iscritto.
- I soli pesi BF16 occupano circa 6,57 GB per il modello 2B e 72,36 GB per il 35B-A3B.
Durante una prova di teatro, l’attore inquadrato aspetta la battuta di un collega dietro le quinte. Come descrivere quel momento a chi rivede la registrazione? WeMM-Video di Tencent accetta il filmato con la traccia audio originale e restituisce una risposta scritta. Il 20 novembre sono arrivati i pesi di tutte e quattro le versioni.
Quanto occupano i file?
Ho sommato i file dei pesi in formato BF16. Il modello 2B richiede un download di circa 6,57 GB per i soli pesi. Il 35B-A3B arriva a 72,36 GB. Le versioni intermedie sono 4B e 9B. Le prime tre adottano un’architettura densa, mentre il modello più grande seleziona alcuni moduli specializzati durante l’elaborazione. Configurazione e memoria di esecuzione vanno considerate a parte.
La battuta arriva dal palco o da dietro le quinte?
Per una prova in italiano userei una registrazione mia. Chiederei prima di trascrivere la battuta e poi di indicare quale dettaglio del filmato permette di attribuirla a una persona. Riascolterei il passaggio controllando anche i momenti in cui nessuno muove le labbra. La scheda del produttore descrive cinese e inglese. Serve una verifica separata per le battute in italiano.
Il manuale di Designers Italia distingue la trascrizione del parlato dalla descrizione di gesti importanti per capire una scena. È una buona traccia per chi vuole trasformare l’analisi di una prova in una scheda consultabile.
Il filmato di NASA Goddard mostra il primo passo di Armstrong. Tencent usa materiale d’archivio della stessa sequenza di Apollo 11 per confrontare l’analisi con e senza audio.
Prima di scaricare un modello
I pesi sono distribuiti con licenza Apache 2.0, con condizioni specifiche per i componenti di terze parti elencati. La scheda non riporta un prezzo italiano per minuto di video.
Puoi stimare il tempo di download e la capacità del disco necessaria per conservare più versioni. Per esaminare altri sistemi consulta il confronto fra modelli di IA.
Fonti
- Tencent WeChat Vision - WeMM-Video
- Tencent - Hugging Face
- WeMM-Video - arXiv
- Tencent - Apollo 11
- Tencent - Apache 2.0
- Designers Italia - immagini e video
Come si verifica un risultato ottenuto con un modello? Ho ricostruito la verifica in Lean della dimostrazione proposta per Riemann.
Domande frequenti
A che ora sono arrivati i pesi?
Il repository del codice è pubblico dal 17 novembre. Gli autori hanno presentato il lavoro il 19. Il 20 novembre, ora italiana, il primo caricamento completo dei pesi BF16 risale alle 02:41:08 (2B) e l’ultimo alle 06:08:27 (9B).
Si possono generare filmati?
Il modello produce testo. A partire da un filmato puoi chiedere quali azioni si vedono o cosa si sente nella traccia originale.
