Black FridayHiggsfield: do 63% taniej przy planie rocznym - Seedance 2.5, Nano Banana Pro, GPT Image Sprawdź ofertę →link partnerski
Przejdź do treści
Sklep

AI

AI dostała laboratorium na próbę. W 52 zadaniach najlepszy model zdobył 45 punktów na 100

W TwinLab-Bench modele planują doświadczenia i proszą o pomiary oparte na dokumentacji laboratoriów. Najwyższa średnia wyniosła 45 punktów na 100.

Tekst: 2 min czytania
AI dostała laboratorium na próbę. W 52 zadaniach najlepszy model zdobył 45 punktów na 100
Spis treści 3
  1. Laboratorium odpowiada danymi
  2. Jedna błędna decyzja może wyzerować raport
  3. Źródła

👁 111 przeczytań

Jeżeli dwie hipotezy przewidują ten sam wynik pomiaru, wykonanie tego pomiaru nie pomoże wybrać lepszej. W TwinLab-Bench model sam musi zdecydować, o jaki pomiar poprosić. Badacze zaprojektowali 52 zadania oparte na dokumentacji rzeczywistych laboratoriów. W pracy z 19 listopada najlepszy z ocenianych modeli, Claude Fable 5.2, uzyskał średnio 45 punktów na 100.

Laboratorium odpowiada danymi

Model otrzymuje problem, projektuje doświadczenie, a wirtualny odpowiednik laboratorium odpowiada na jego zapytania. Odpowiedzi opierają się na zachowanych materiałach z badań i obliczeniach powiązanych z tymi zapisami. Zespół przewidział ponad sto rodzajów czynności eksperymentalnych. W części zadań badacz ma do dyspozycji wyłącznie istniejącą dokumentację.

Kto ma dostęp do odpowiedzi?
Schemat przepływu informacji w TwinLab-Bench, opracowanie na podstawie publikacji autorów.

Taki układ pozwala ukryć wynik rzeczywistego doświadczenia przed badanym modelem, a zachować go dla oceniających. Autorzy sprawdzają też zachowanie modeli bez dostępu do wirtualnego laboratorium. Dobry wynik uzyskany z pamięci odpowiada na inne pytanie niż trafny wybór kolejnego pomiaru.

Jedna błędna decyzja może wyzerować raport

Ocena bierze pod uwagę raport końcowy i kryteria przypisane do każdego zadania. Wśród nich są warunki uznane przez autorów za konieczne. Niespełnienie takiego warunku może dać zero punktów za cały przebieg mimo poprawnych fragmentów raportu. Dlatego średni wynik 45/100 nie oznacza, że model rozwiązał dokładnie 45% doświadczeń.

Jak czytać wynik TwinLab-Bench
Wynik raportowany dla Claude Fable 5.2. Odsetek zaliczonych doświadczeń jest inną miarą.

Po lekturze przykładów najciekawszy wydaje mi się błąd, który autorzy opisują dla Opusa 5.5: przyjęcie wyjaśnienia bez przeprowadzenia próby rozróżniającej konkurencyjne mechanizmy. Raport może wtedy brzmieć przekonująco i zawierać sensowne liczby. Brakuje w nim właśnie pomiaru, który mógłby zmusić autora do zmiany zdania.

Stan na 21.11.2026, godz. 19:34 czasu polskiego.

Źródła

Więcej o tym temacie: Megaherc - polski ranking modeli AI

Piotr Olszewski

Autor

Twórca i autor Promptowego, polskiego serwisu o sztucznej inteligencji. Codziennie śledzi premiery modeli, narzędzia i regulacje AI, i tłumaczy je prostym, konkretnym językiem.

O mnie →Wszystkie teksty →

Czytaj dalej

Narzędzia do tego tematu

darmowe, bez kontaWszystkie 29 →
z sieci - nowe teksty w moich serwisach

Wszystkie moje projekty →

Najczęściej czytane

7 dni
  1. 1Okładka GTA 6 z własnym zdjęciem w AI: prompt do ChatGPT i Gemini, test na selfie
  2. 2GPT-6.2 Astra vs Claude Fable 5.2 vs Gemini 4 Carbon: benchmarki i mój test na 7 modelach (z Opus 5.5)
  3. 3Plakat festiwalu z polskim napisem: prompt i test 6 generatorów obrazu (Prompt dnia 14.11)
🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →