Black FridayHiggsfield: do 63% taniej przy planie rocznym - Seedance 2.5, Nano Banana Pro, GPT Image Sprawdź ofertę →link partnerski
Przejdź do treści
Sklep

AI

EgoCaptioner ogląda film z perspektywy oczu. Liczy się chwila, w której ręka wykonała ruch

50 tysięcy przykładów z ośmiu źródeł wideo pomaga modelowi wiązać opis z czasem. Autorzy sprawdzili, czy z opisu można odtworzyć kolejność zdarzeń.

Tekst: 2 min czytania
EgoCaptioner ogląda film z perspektywy oczu. Liczy się chwila, w której ręka wykonała ruch
Spis treści 3
  1. Od całej sceny do ruchu dłoni
  2. Czy z podpisu można odpowiedzieć na pytanie
  3. Źródła

👁 111 przeczytań

Nagranie z kamery noszonej na głowie rzadko ustawia scenę tak wygodnie jak film instruktażowy. Ręka wpada w kadr na moment, przedmiot znika za palcami, obraz przesuwa się wraz z głową. Wystarczy pomylić ruch kamery z ruchem przedmiotu, żeby zgrabny opis przestał się zgadzać z tym, co naprawdę widać. EgoCaptioner uczy model rozpoznawać także kolejność i moment tych zdarzeń.

Od całej sceny do ruchu dłoni

W pracy z 19 listopada zespół opisuje budowę 50 tysięcy przykładów treningowych z ośmiu źródeł nagrań z pierwszej osoby. Najpierw powstaje ogólny opis otoczenia, uczestników i zajęcia osoby noszącej kamerę. Potem autorzy wyodrębniają kolejne czynności i dopiero wtedy dopisują szczegóły związane z konkretnym czasem. Przy nagraniach z odpowiednimi czujnikami wykorzystują również informacje o ruchu wyprowadzone z pomiarów pozycji.

Jak zespół budował dane treningowe
Rys. 1. Yuqi Tang i współautorzy, EgoCaptioner, CC BY 4.0. Oryginał bez zmian merytorycznych, zapis WebP. Licencja · Oryginał

W treningu poprawny opis musi dobrze pokrywać fakty i zgadzać się z czasem w materiale. Kara dotyczy między innymi rozwlekania jednej czynności na kilka powtarzających się fragmentów. Łatwo wyobrazić sobie, jak to pomaga przy szukaniu krótkiego momentu: samo stwierdzenie „osoba przygotowuje posiłek” nie wskaże miejsca, w którym odstawiła naczynie.

Czy z podpisu można odpowiedzieć na pytanie

Autorzy porównali system w pięciu zestawach testowych. Szczególnie interesuje mnie próba, w której kolejny model odpowiada na pytanie na podstawie opisu wideo. Jeśli opis pominął krótki, ważny ruch, odpowiedź może być błędna mimo sprawnego języka. Na Minerva-Ego w tym właśnie wariancie autorzy raportują przewagę nad porównywanymi systemami zamkniętymi.

Jak oceniano opis i moment zdarzenia
Rys. 2. Yuqi Tang i współautorzy, EgoCaptioner, CC BY 4.0. Oryginał bez zmian merytorycznych, zapis WebP. Licencja · Oryginał

To preprint zespołu badawczego. Dobra pozycja w teście pytań opartych na podpisie mówi coś konkretnego o informacjach zachowanych w tym podpisie. Nie dowodzi jeszcze, że system zawsze ustali prawidłową kolejność w długim, nieprzerwanym nagraniu z dowolnej kamery.

Stan na 21.11.2026, godz. 19:34 czasu polskiego.

Źródła

Piotr Olszewski

Autor

Twórca i autor Promptowego, polskiego serwisu o sztucznej inteligencji. Codziennie śledzi premiery modeli, narzędzia i regulacje AI, i tłumaczy je prostym, konkretnym językiem.

O mnie →Wszystkie teksty →

Czytaj dalej

Narzędzia do tego tematu

darmowe, bez kontaWszystkie 29 →
z sieci - nowe teksty w moich serwisach

Wszystkie moje projekty →

Najczęściej czytane

7 dni
  1. 1Okładka GTA 6 z własnym zdjęciem w AI: prompt do ChatGPT i Gemini, test na selfie
  2. 2GPT-6.2 Astra vs Claude Fable 5.2 vs Gemini 4 Carbon: benchmarki i mój test na 7 modelach (z Opus 5.5)
  3. 3Plakat festiwalu z polskim napisem: prompt i test 6 generatorów obrazu (Prompt dnia 14.11)
🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →