Tencent geeft WeMM-Video vrij. Wat hoort het model bij de beelden?
Ik heb de vier downloads van Tencent gecontroleerd. Met een opname van een ophaalbrug kun je nagaan of WeMM-Video beeld en geluid uit elkaar houdt.

Inhoud 5
- WeMM-Video verwerkt beeld en oorspronkelijk geluid en geeft antwoord in tekst.
- De BF16-gewichten van 2B en 35B-A3B zijn circa 6,57 GB en 72,36 GB groot.
Je filmt een ophaalbrug. De bel klinkt terwijl de slagboom nog omhoog staat. Zo’n kort fragment maakt duidelijk waarom Tencent bij WeMM-Video ook het oorspronkelijke geluid aan het model meegeeft. Op 20 november kwamen de gewichten van vier varianten beschikbaar. Het antwoord op een vraag over de opname verschijnt als tekst.
Hoeveel schijfruimte kosten de gewichten?
Ik telde in de BF16-versies twee gewichtsbestanden voor 2B, drie voor 4B, vijf voor 9B en zeventien voor 35B-A3B. De drie kleinere varianten zijn dichte modellen. De grootste gebruikt een mengsel van experts. De gewichten alleen zijn bij 2B ongeveer 6,57 GB groot en bij 35B-A3B 72,36 GB. Die getallen zeggen hoeveel je downloadt. Het benodigde werkgeheugen hangt ook af van de uitvoering.
Komt de bel vóór de slagboom?
Bij een proef met eigen beeldmateriaal zou ik eerst zelf de volgorde noteren. Daarna krijgt het model twee vragen: wanneer hoor je de bel en wanneer begint de slagboom te zakken? Met een tweede, gedempte versie kun je nagaan of het model geluid blijft beschrijven dat alleen uit het beeld is af te leiden. Tencent noemt Chinees en Engels in de documentatie. Voor Nederlandstalige gesprekken is een aparte proef nodig.
Digitoegankelijk legt voor video met geluid uit wat ondertiteling en audiobeschrijving ieder aan een opname toevoegen. Dat onderscheid helpt bij de beoordeling van een antwoord dat het beeld en de bel in één zin samenvat.
In dit archiefbeeld van NASA Goddard zet Armstrong voet op de maan. Tencent gebruikt een fragment uit dezelfde Apollo 11-opname als voorbeeld voor beeld met en zonder geluid.
De download plannen
De modellen vallen onder Apache 2.0. Voor de genoemde onderdelen van derden gelden hun eigen voorwaarden. Op de modelkaart staat geen Nederlands tarief per videominuut.
Bereken de downloadtijd en de benodigde schijfruimte voor je een tweede variant bewaart. Bekijk andere systemen bij AI-modellen vergelijken.
Bronnen
- Tencent WeChat Vision - WeMM-Video
- Tencent - Hugging Face
- WeMM-Video - arXiv
- Tencent - Apollo 11
- Tencent - Apache 2.0
- Digitoegankelijk - audio en video
Veelgestelde vragen
Wanneer zijn de gewichten toegevoegd?
De codeopslagplaats werd openbaar op 17 november. De onderzoekers dienden hun artikel op 19 november in. Op 20 november volgden de complete BF16-gewichten, van 02:41:08 uur Nederlandse tijd (2B) tot 06:08:27 uur (9B).
Maakt WeMM-Video zelf filmpjes?
Het model antwoordt met tekst. Je kunt bijvoorbeeld vragen wat er in een beeld gebeurt en welke geluiden daarbij te horen zijn.
