Automatyczny badacz AI firmy Anthropic pobija ludzkich naukowców i kosztuje 4 dolary za godzinę
Anthropic opublikowało paper pokazujący, że automatyczny system AI potrafi samodzielnie poprawiać alignment modeli lepiej niż doświadczeni ludzie - i 37 razy taniej.
👁 127 przeczytań
Anthropic opublikowało paper zatytułowany „Automated Researchers Can Reliably Mitigate Alignment Failures”, w którym opisuje system AI zdolny do automatycznego poprawiania własnego treningu alignmentowego - i robiący to skuteczniej niż ludzcy badacze.
Pracę prowadził Chen Yueh-Han z programu fellows Anthropic. Stworzony przez niego Automated Alignment Researcher (AAR) działa podobnie jak tradycyjny naukowiec: przeszukuje dostępną literaturę, proponuje metodę, a następnie trenuje model przez 30 minut. Skuteczne podejścia są zachowywane, nieskuteczne odrzucane. W testach na 10 benchmarkach konkretnych zachowań niezgodnych z zamierzeniami system poprawił wyniki na każdym z nich, nie obniżając ogólnej wydajności modelu.
Liczby są uderzające. Paper podaje wprost, że najlepszy wariant AAR przewyższa to, co proponują doświadczeni ludzie, przeciętnie już w ciągu sześciu godzin. Co więcej, autorzy zestawiają koszty: AAR kosztuje około 4 dolary za godzinę w kosztach wnioskowania API, podczas gdy godzina pracy ludzkiego badacza w Anthropic to 150 dolarów.
„Human guided research directions do not lead to stronger performance.”
- tak paper podsumowuje porównanie z ludzkim kierowaniem badaniami.
Autorzy sami opisują to jako krok w stronę rekurencyjnego samodoskonalenia - scenariusza, w którym modele zaczynają ulepszać własne procesy treningowe bez udziału człowieka. Paper nie unika tej implikacji, zestawiając AAR bezpośrednio z ludzkim odpowiednikiem.
Są też zastrzeżenia: system działa tylko tak dobrze, jak dobrze zdefiniowane są same benchmarki alignmentu, a utrzymanie i rozbudowa literatury, z której korzysta AAR, wciąż wymaga ludzkiej pracy.
Na razie to wczesne wyniki, ale pytanie o to, kiedy AI naukowiec stanie się tańszy i lepszy od człowieka, przestaje być czysto teoretyczne.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
Podobne tematy na Promptowym
