Model, który przestał oszukiwać. Zero procent tam, gdzie poprzednik miał 48

👁 137 przeczytań

Jest taki rodzaj testu, o którym producenci modeli mówią niechętnie, bo wyniki bywają wstydliwe. Modelowi daje się zadanie, a obok podkłada furtkę: sposób, żeby zaliczyć test bez wykonania pracy. Sprawdza się, jak często model z niej korzysta. GPT-5.6 Sol, poprzednik Astry, korzystał w 48,2 procent przypadków. GPT-6 Astra w zero procent.

Wśród wszystkich liczb z tej premiery ta jest moim zdaniem najważniejsza i najmniej komentowana.

Co dokładnie mierzą te testy

Opublikowano trzy pozycje. Pierwsza to test z podstawioną furtką w środowisku zadań z cyberbezpieczeństwa: 0,0 procent prób oszustwa wobec 48,2 procent u poprzednika. Druga dotyczy obchodzenia automatycznej kontroli kodu: 0,00 procent wobec 0,29 procent. Trzecia to test bezpieczeństwa przy sterowaniu komputerem, mierzący niepożądane działania: 2,4 procent wobec 22,0 procent.

Wspólny mianownik: we wszystkich trzech chodzi nie o to, czy model potrafi wykonać zadanie, tylko o to, czy wykonuje je uczciwie, gdy ma możliwość pójścia na skróty.

Dlaczego to ważniejsze niż rekord w matematyce

Wyobraź sobie agenta, który przez sześć godzin pracuje nad zadaniem bez nadzoru. Jeżeli w połowie przypadków, gdy natrafi na trudność, znajdzie sposób, żeby oznaczyć zadanie jako wykonane bez jego wykonania, to nie masz agenta, tylko generator fałszywych raportów. Model, który przy takiej okazji ani razu nie poszedł na skróty, jest pierwszym, któremu można powierzyć długą, samodzielną pracę i uwierzyć w wynik.

To zmienia rachunek ekonomiczny bardziej niż różnica dziesięciu punktów w benchmarku. Kilka punktów wydajności oznacza, że model rozwiąże kilka zadań więcej. Zero oszustw oznacza, że nie musisz sprawdzać każdego z pozostałych.

Zastrzeżenia, które trzeba postawić

Po pierwsze, testy przeprowadził producent i opisał we własnych materiałach. Niezależna weryfikacja jeszcze nie istnieje. Po drugie, zero w teście nie oznacza zera w praktyce, bo test sprawdza określony rodzaj furtek, a modele bywają pomysłowe. Po trzecie, ten sam model osiągnął komplet punktów w testach atakowania oprogramowania, więc „uczciwy” nie znaczy „nieszkodliwy”, i dlatego OpenAI ograniczyło do niego dostęp.

Mimo tych zastrzeżeń kierunek jest jednoznaczny i to jest dobra wiadomość dla każdego, kto opiera pracę na agentach. Reszta danych o modelu, łącznie z cennikiem i pełną tabelą testów, jest w przewodniku o GPT-6 Astra.

// czytaj dalejDetektyw, który zwolnił się sam: jak przestałem polować na maszynę w tekścieMagazynWorld Labs Fei-Fei Li pokazuje Atlas - model świata z przestrzenną inteligencją 3DNewsy2,4 biliona parametrów: Alibaba prezentuje model, który ma dogonić czołówkę USANewsy