WeMM-Video von Tencent wertet Bild und Originalton zusammen aus
Welche Gewichte sind verfügbar? Ich habe Tencents vier WeMM-Video-Downloads geprüft und zeige, wie sich eine deutsche Bahnhofsdurchsage als Hörprobe eignet.

Inhalt 5
- WeMM-Video verarbeitet Videobilder und Originalton gemeinsam und antwortet in Textform.
- Die BF16-Gewichte der Größen 2B und 35B-A3B belegen rund 6,57 GB bzw. 72,36 GB.
Eine Aufnahme zeigt den Bahnsteig, im Lautsprecher wird ein Gleiswechsel durchgesagt. Ob ein Modell die Ansage berücksichtigt, lässt sich an einem solchen Widerspruch prüfen. Tencent hat am 20. November die Gewichte von vier WeMM-Video-Modellen bereitgestellt. Sie können Bild und Originalton gemeinsam auswerten und antworten in Textform.
Wie groß ist der Download?
Ich habe die BF16-Dateien in den vier Modellverzeichnissen nachgezählt. Auf 2B, 4B und 9B entfallen zwei, drei und fünf Gewichtsdateien. Beim 35B-A3B sind es siebzehn. Die kleinste Variante belegt allein für die Gewichte rund 6,57 GB. Beim größten Modell sind es 72,36 GB. Für Konfiguration und Laufzeit kommt weiterer Platz hinzu.
Eine Hörprobe mit einer Gleisänderung
Ich würde einen eigenen kurzen Mitschnitt mit einer verständlichen Ansage verwenden und die Antwort in zwei Felder aufteilen lassen: angezeigtes Gleis und angesagtes Gleis. Beim zweiten Durchlauf bleibt der Ton aus. Nennt das Modell das gesprochene Gleis trotzdem, lohnt ein Blick auf Text im Bild. Tencent beschreibt Englisch und Chinesisch als Modellsprachen. Die Trefferquote für deutsche Durchsagen ist offen.
Wer aus solchen Antworten Untertitel erstellt, sollte vor allem Zahlen und Hintergrundgeräusche mit dem Original abgleichen. Die Bundesfachstelle Barrierefreiheit erläutert in ihrem Leitfaden, wie sich automatisch erzeugte Untertitel nachbearbeiten lassen.
NASA Goddard zeigt Armstrongs ersten Schritt. Für sein eigenes Beispiel nutzt Tencent Archivmaterial derselben Apollo-11-Sequenz und lässt den Ton ein- oder ausschalten.
Platz und Übertragungszeit abschätzen
Die Modelllizenz nennt Apache 2.0 und gesonderte Bedingungen für bestimmte Drittkomponenten. Einen deutschen Listenpreis je Videominute weist die Modellkarte nicht aus.
Für die Planung lassen sich die Downloadzeit und der freien Speicherplatz getrennt berechnen. Einen Überblick über weitere Systeme gibt es unter KI-Modelle vergleichen.
Quellen
- Tencent WeChat Vision - WeMM-Video
- Tencent - Hugging Face
- WeMM-Video - arXiv
- Tencent - Apollo 11
- Tencent - Apache 2.0
- Bundesfachstelle Barrierefreiheit - Untertitel bei Videos
Wie sich überprüfbare Ergebnisse von Modellbehauptungen unterscheiden, zeigt die Prüfung von Levent Alpöges Vorschlag zur Riemannschen Vermutung.
Häufige Fragen
Seit wann sind die Gewichte verfügbar?
Das Code-Repository ist seit dem 17. November öffentlich. Am 19. November reichten die Autoren das Paper ein. Die Uploads der vollständigen BF16-Gewichte reichen am 20. November von 02:41:08 Uhr MEZ (2B) bis 06:08:27 Uhr MEZ (9B).
Erzeugt WeMM-Video eigene Videoclips?
Die Ausgabe besteht aus Text. Das Modell kann eine sichtbare Handlung beschreiben oder eine Frage zur Originaltonspur beantworten.
