Podwójnie ślepa próba dla AI - Google DeepMind chce oceniać modele jak leki

Ten news ukazał się 20 min po komunikacie źródła.

👁 117 przeczytań

Najtrudniejsze pytanie w całej debacie o bezpieczeństwie AI brzmi nie czy modele są oceniane, lecz przez kogo i w czyim interesie. Google DeepMind postanowił zaatakować ten problem metodą, którą medycyna wypracowała przez dekady bolesnych błędów - podwójnie ślepą próbą.

Skąd w ogóle wziął się ten pomysł

Farmakologia nauczyła się w XX wieku, że ludzki mózg jest mistrzem w znajdowaniu tego, czego szuka. Lekarz, który wie, że podaje lek, widzi poprawę. Pacjent, który wie, że dostał tabletką, czuje ulgę. Jedynym sposobem na wyizolowanie rzeczywistego efektu okazało się ukrycie tożsamości zarówno przed badającym, jak i badanym. Stąd właśnie Google DeepMind sięga po ten schemat i przenosi go na grunt ewaluacji sztucznej inteligencji - ogłaszając pilotaż tego, co firma nazywa pierwszymi na świecie podwójnie ślepymi ocenami modeli AI.

Pomysł jest elegancki w swojej prostocie i jednocześnie rewolucyjny w skutkach, jeśli zadziała. Dziś standardem branżowym jest sytuacja, w której twórca modelu wie, że jego system jest testowany, a często wie również, na jakich benchmarkach. To trochę jak egzamin, do którego dostałeś klucz odpowiedzi tydzień wcześniej - wynik nic nie mówi o rzeczywistej wiedzy, mówi tylko o zdolności do zapamiętania właściwych odpowiedzi.

Problem Goodharta w skali przemysłowej

Ekonomiści nazywają to prawem Goodharta: gdy miara staje się celem, przestaje być dobrą miarą. W świecie dużych modeli językowych to prawo działa z siłą grawitacji. Firmy optymalizują swoje systemy pod konkretne testy - MMLU, HumanEval, GPQA - i benchmarki tracą wartość diagnostyczną w momencie, gdy wyniki na nich zaczynają być głównym argumentem sprzedażowym. Nie jest to oskarżenie o złą wolę; to naturalny efekt presji rynkowej.

Podwójnie ślepa ewaluacja próbuje ten mechanizm zablokować. Jeśli model nie wie, że jest testowany - bo każda interakcja wygląda jak każda inna - nie ma czego optymalizować pod kątem testu. Jeśli oceniający nie wie, który model ocenia, nie może - świadomie ani nie - faworyzować systemu firmy, z którą sympatyzuje lub którą finansuje.

Sierpień 2026 i co dalej

DeepMind zapowiada pilotaż na sierpień 2026 roku w ramach obszaru Responsibility & Safety. Słowo pilotaż jest tu ważne - to nie wdrożenie standardu, to eksperyment. I dobrze, bo wdrożenie takiej metodologii w branży AI jest technicznie niebanalne. Jak ukryć tożsamość modelu przed oceniającym, gdy każdy system ma rozpoznawalny styl, charakterystyczne błędy, specyficzny sposób odmowy odpowiedzi na drażliwe pytania? Jak zadbać o to, żeby organizacja przeprowadzająca ewaluację była faktycznie niezależna od ocenianych podmiotów, skoro cała branża jest finansowo spleciona krzyżowymi udziałami i kontraktami?

To są pytania, na które pilotaż ma odpowiedzieć. I uczciwie: sam fakt, że ktoś je wreszcie zadaje w formie strukturalnego eksperymentu, a nie kolejnego białego dokumentu z rekomendacjami, jest krokiem do przodu.

Kto zyska, a kto straci na transparentności

Jest jednak pewien paradoks w tym, że inicjatywę ogłasza Google DeepMind - firma, która sama tworzy jedne z najpotężniejszych modeli na świecie i jednocześnie aspiruje do roli instytucji oceniającej te modele. Podwójnie ślepa próba ma sens jako niezależny mechanizm; jako projekt wewnętrzny największego gracza branży jest raczej dowodem na to, że problem istnieje, niż rozwiązaniem tego problemu.

Szczery felieton wymaga przyznania: to, co DeepMind pokazuje, to przede wszystkim gotowość do myślenia inaczej o ewaluacji. Metodologia ślepych prób w medycynie nie przyszła od farmaceutycznych gigantów - wyrosła z presji regulatorów, akademii i spektakularnych katastrof, które kosztowały ludzkie życia. W AI spektakularne katastrofy są na razie mniej dramatyczne, ale mechanizm, który do nich prowadzi - optymalizacja pod miarę zamiast pod cel - jest identyczny.

Jeśli pilotaż z sierpnia 2026 roku pokaże, że podwójnie ślepe ewaluacje są technicznie wykonalne i rzeczywiście odkrywają różnice niewidoczne w standardowych benchmarkach, branża dostanie narzędzie, za które powinna się uchwycić obiema rękami - zanim ktoś z zewnątrz zrobi to za nią.