IBM Research wygrywa ranking obsługi klienta bez aktualizacji modelu - wystarczyły wyuczone reguły

Ten news ukazał się 1 min po komunikacie źródła.

👁 118 przeczytań

Zespół IBM Research opublikował wyniki systemu ALTK-Evolve, który zajął pierwsze miejsce w kategorii retail na benchmarku τ²-bench - standardowym teście agentów obsługi klienta stworzonym przez firmę Sierra. Wynik to 67,5% Pass^4, co oznacza, że agent rozwiązuje dane zadanie poprawnie we wszystkich czterech niezależnych próbach dla 67,5% przypadków testowych. Według migawki tabeli liderów z 12 października 2026 roku żaden inny wpis w kategorii retail nie osiągnął tego wyniku.

Co ważne: system nie korzysta z żadnego modelu klasy frontier przeznaczonego do rozumowania, nie aktualizuje wag modelu i nie wymaga ręcznych adnotacji. Podstawą jest GPT-4.1 - model starszy i pozbawiony mechanizmów rozumowania krok po kroku - działający na standardowym scaffoldzie ReAct z pętlą THINK → ACT, który τ²-bench dostarcza każdemu uczestnikowi jako punkt startowy.

Jak działa wyuczona pamięć

Kluczowy mechanizm ALTK-Evolve to tak zwana wyuczona pamięć - podejście, które IBM Research wcześniej testował na agentach do pisania kodu, a teraz przeniósł na grunt obsługi klienta. Zasada jest prosta: agent podczas fazy treningowej próbuje rozwiązywać zadania, a GPT-4.1 analizuje jego sukcesy i porażki, distylując je w krótkie reguły behawioralne. Przykładowe reguły opisują to, jak poprawnie uwierzytelnić klienta, jak potwierdzić transakcję albo jak obsłużyć zwrot towaru zgodnie z polityką domeny.

Te reguły trafiają następnie do system promptu agenta jako zwykła lista w formacie Markdown, dołączona po dokumencie polityki danej domeny. Struktura wygląda tak: najpierw instrukcja dla agenta, potem dokument polityki obejmujący na przykład zasady anulowania zamówień, zwrotów czy modyfikacji adresu, a na końcu blok zatytułowany „Guidelines learned from past task attempts”. Poza tym blokiem - nic się nie zmienia. Polityka, narzędzia i scaffold pozostają identyczne jak w standardowej implementacji τ²-bench.

Ten sam model - GPT-4.1 - odpowiada zarówno za wyciąganie reguł, jak i za działanie agenta w czasie rzeczywistym. W roli symulatora klienta po drugiej stronie rozmowy IBM Research użył GPT-5.5, zgodnie z rekomendacją benchmarku.

τ²-bench to test stworzony przez Sierra, który sprawdza, jak dobrze agent radzi sobie z rozmowami w obsłudze klienta pod realnymi ograniczeniami. Każde zadanie zestawia agenta z klientem symulowanym przez LLM - klient ma konkretny cel, agent dysponuje zestawem narzędzi domenowych (sprawdzenie zamówienia, wystawienie zwrotu, zmiana rezerwacji lotu) i pisemnym dokumentem polityki, którego musi przestrzegać. Wynik jest binarny: zadanie uznaje się za rozwiązane tylko wtedy, gdy końcowy stan bazy danych zgadza się z oczekiwanym. Nie ma punktów cząstkowych za częściowe działania - albo wszystko się zgadza, albo nie.

Benchmark obejmuje dwie domeny: retail i airline. IBM Research przeprowadził po cztery próby na każde zadanie w obu domenach, co bezpośrednio przekłada się na metrykę Pass^4 - wymagającą, bo agent musi być konsekwentny i niezawodny, a nie tylko raz trafić w rozwiązanie.

Wyniki są szczególnie interesujące z perspektywy kosztów i złożoności wdrożenia. Podejście oparte na wyuczonej pamięci nie wymaga fine-tuningu, specjalistycznej infrastruktury treningowej ani zbierania ludzkich etykiet - tylko odpowiedniej liczby prób treningowych i modelu zdolnego do refleksji nad własnymi błędami. IBM Research wskazuje, że ALTK-Evolve rozszerza wcześniej opublikowane wyniki z dziedziny agentów kodujących, pokazując, że ten sam mechanizm adaptuje się do bardzo różnych domen: od pisania kodu po skrupulatne śledzenie polityk zwrotów w sklepie internetowym.

Szczegóły techniczne, w tym pełna struktura promptu i sposób generowania reguł, zostały opublikowane na blogu Hugging Face przez zespół badaczy IBM Research, w skład którego weszli między innymi Ashwath Vaithinathan Aravindan, Vatche Isahagian, Vinod Muthusamy i Evelyn Duesterwald.