SearchAuditor: jak wykrywać błędy agentów przeszukujących sieć

👁 139 przeczytań

Artykuł pochodzi z serwisu arXiv (identyfikator 2608.05212) i został złożony 5 sierpnia 2026 roku przez zespół ośmiorga autorów: Zhixiang Liang, Yifei Liu, Yidan Huang, Haozhe Zhao, Beichen Huang, Jiaqi Wang, Nan Duan i Qiong Cao.

Problem: długie trasy, ciche błędy

Tzw. agenty głębokiego wyszukiwania (deep search agents) odpowiadają na trudne pytania, wykonując wiele kroków w sieci - wyszukują strony, czytają je, wyciągają wnioski, znowu szukają. Autorzy piszą wprost, że ten proces jest „złożony i kruchy”: mały błąd w rozumowaniu może propagować się przez długą, zaszumioną trasę i skończyć się odpowiedzią, która brzmi płynnie, ale jest nieprawidłowa. Zdiagnozowanie takiego błędu wymaga ręcznego przejrzenia bardzo długich logów wykonania, co - jak zaznaczają autorzy - może przekraczać ludzkie możliwości.

Co stworzyli: benchmark i framework

Odpowiedzią na ten problem są dwa elementy. Pierwszy to SearchAuditBench - zbiór danych do oceny tego, czy modele językowe potrafią samodzielnie pełnić rolę audytora. Benchmark zawiera 1243 nieudane trasy wykonania, zebrane z ośmiu modeli open-weight na pięciu różnych benchmarkach głębokiego wyszukiwania. Średnia trasa liczy 73,1 wiadomości i 65,1 tys. tokenów. Każda trasa została ręcznie oznaczona przez ekspertów - wskazali oni krok, w którym pojawił się krytyczny błąd, określili przyczynę źródłową specyficzną dla wyszukiwania oraz dostarczyli wzorcową naprawę wraz z kryteriami oceny.

Drugi element to SearchAuditor - wieloperspektywiczny framework audytowania, który ma za zadanie lokalizować błędy, przypisywać im przyczyny i proponować naprawy. Autorzy opisują jego działanie jako „adjudykację opartą na dowodach” (evidence-grounded adjudication), choć szczegóły techniczne tego mechanizmu nie wynikają z samego abstraktu.

Wyniki: liczby mówią za siebie

Autorzy podają konkretne wyniki. Najsilniejszy testowany punkt odniesienia (baseline), zasilany modelem GPT-5.5, osiągnął jedynie 26,6% skuteczności w trybie end-to-end. SearchAuditor, działający na różnych modelach frontierowych, uzyskał 32,3% w tym samym trybie, co oznacza przewagę nad wszystkimi punktami odniesienia. Autorzy dodają również, że wznawianie przerywanych sesji z naprawami zaproponowanymi przez SearchAuditor pozwala agentom lepiej wychodzić z błędów. Dokładniejsze dane dotyczące poszczególnych modeli ani szczegółowy opis architektury nie są dostępne w abstrakcie.

Czego w dokumencie nie ma

Abstrakt nie zawiera informacji o tym, jakie konkretnie modele open-weight weszły w skład zbioru danych, jak dokładnie działa mechanizm wieloperspektywicznego audytowania od strony technicznej, ani czy SearchAuditBench jest publicznie dostępny. Nie podano też kosztów obliczeniowych ani czasu potrzebnego na przeprowadzenie audytu pojedynczej trasy.

Co z tego wynika

Moim zdaniem ten artykuł wskazuje na lukę, o której rzadko się mówi wprost: agenty przeszukujące sieć mogą być oceniane tylko po wyniku końcowym, a tymczasem błąd może leżeć gdzieś w kroku 12 z 40. Wynik 32,3% end-to-end dla najlepszego wariantu SearchAuditora to wynik skromny bezwzględnie, ale pokazuje, że automatyczny audyt jest w ogóle wykonalny. Jeśli benchmark i narzędzia trafią do szerszego obiegu, może to oznaczać, że ocena jakości agentów przestanie opierać się wyłącznie na tym, co agent odpowiedział, a zacznie też uwzględniać to, jak do tej odpowiedzi doszedł.

Źródło: arXiv cs.AI: SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents (dokument z 2026-08-07). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.

// czytaj dalejAI Search i SEO pod agentów: co zmienia nowa wyszukiwarka GoogleGeminiHyTBE: jak wykrywać małe cele w podczerwieni w nieznanych warunkachNewsyAI znajduje błędy bezpieczeństwa szybciej, niż ludzie są w stanie je naprawićNewsy