Ile pamięci naprawdę potrzebuje agent AI? To zależy od modelu, nie od intuicji

👁 147 przeczytań

Zakładamy, że pamięć zawsze pomaga. Dajemy agentowi dostęp do jego własnych przeszłych trajektorii, pozwalamy mu destylować wnioski i wstrzykiwać je z powrotem przy kolejnym zadaniu - i oczekujemy, że więcej doświadczenia automatycznie przełoży się na lepsze wyniki. To intuicja prosto z ludzkiej biologii i jest niemal zupełnie błędna.

Badacze z IBM Research opublikowali na blogu Hugging Face wyniki eksperymentu, który powinien zmienić sposób, w jaki myślimy o agentic memory. Przetestowali system ALTK-Evolve - narzędzie pozwalające agentowi uczyć się z własnych przeszłych przebiegów, bez aktualizacji wag i bez ludzkiej adnotacji - na ośmiu modelach, od 30-miliardowego modelu dense po frontierowe systemy proprietary. Wniosek jest prosty do sformułowania i nieoczywisty w konsekwencjach: pamięć agenta to nie przełącznik, który się włącza. To dawka, którą trzeba kalibrować pod konkretny model.

Trzy wzorce, jedna zasada

Eksperymenty ujawniły trzy powtarzające się wzorce zachowań. Pierwsze: silne modele z przestrzenią do wzrostu chcą wszystkiego - pełnego zestawu wytycznych, włącznie z lekcjami z rzadkich przypadków brzegowych. DeepSeek-V3.2 (671B MoE) poprawił wskaźnik ukończenia zadań o +9,5 punktu procentowego, gdy dostał kompletny, samodzielnie wydobyty zestaw wytycznych. Ma pojemność, żeby to wchłonąć i zastosować.

Drugie: słabsze lub mniejsze modele toną w dużym zestawie wytycznych. Tu najlepiej działa kombinacja zwięzłego, wysokopewności rdzenia plus kilka wytycznych pobranych na potrzeby konkretnego zadania. gpt-oss-120b (117B MoE) zyskał +16,1 punktu procentowego właśnie przy tym selektywnym podejściu - a pełny zestaw wytycznych dał przy tym samym modelu gorszy wynik i kosztował około 50% więcej tokenów. Nie ma tu paradoksu: słabszy model nie potrafi efektywnie posortować dużego zestawu wskazówek i zamiast korzystać z doświadczenia, gubi się w nim.

Trzecie, najtrudniejsze w interpretacji: saturacja. GLM-5 (745B MoE) nie wykazał żadnego mierzalnego zysku niezależnie od dawki. Badacze ostrożnie etykietują to jako obserwację, nie diagnozę: model mógł znajdować się blisko sufitu możliwości na tych konkretnych zadaniach, wytyczne mogły nie adresować jego faktycznych błędów, albo po prostu nie zastosował ich skutecznie. Nie wiemy. I właśnie ta niewiedza jest równie ważna jak reszta wyników.

Dlaczego parametry to zły kompas

Kusi, żeby uprościć: duży model dostaje więcej pamięci, mały - mniej. IBM Research wprost ostrzega przed tym skrótem myślowym. O tym, w którym wzorcu wyląduje model, nie decyduje sama liczba parametrów. Headroom na benchmarkach, rozmiar okna kontekstowego, architektura, jakość wygenerowanych wytycznych i rozkład zadań - wszystko to współkształtuje odpowiedź. Separowanie tych czynników to wciąż otwarte badania.

To ważne zastrzeżenie, bo oznacza, że nie można raz ustalić reguły i stosować jej mechanicznie. Każdy deployment agenta wymaga własnego pomiaru. Nie strategii - procedury kalibracji.

Kiedy mniej kosztuje mniej i działa lepiej

Jeden z wyników jest wyjątkowo rzadki w inżynierii AI: gpt-oss-120b z selektywnym pobieraniem wytycznych uzyskał lepszy wynik przy zaledwie 5% dodatkowych tokenów względem bazy. Pełny zestaw wytycznych kosztował 50% więcej tokenów i dał słabszy wynik. Optymalizacja pod kątem efektywności i optymalizacja pod kątem jakości wskazały w tym przypadku ten sam kierunek.

Badacze zwracają też uwagę, że prompt caching sprawia, że nawet pełny zestaw wytycznych staje się przystępny kosztowo w środowiskach produkcyjnych - co oznacza, że bariera nie jest finansowa, tylko architektoniczna. Problem nie leży w tym, że pełny zestaw jest drogi. Leży w tym, że dla wielu modeli jest po prostu zły.

Uczenie wokół modelu, nie w nim

Jest w tym coś filozoficznie interesującego. ALTK-Evolve nie zmienia wag - nie dotyka wnętrza modelu. Cała adaptacja dzieje się w kontekście: w tym, co podajemy agentowi na wejściu. To uczenie się wokół modelu, nie wewnątrz niego. I właśnie dlatego dawka ma znaczenie - bo nie zmieniamy pojemności naczynia, tylko ilość i dobór tego, czym je napełniamy.

Metafora farmakologiczna, którą sami badacze sugerują przez słowo dose, jest tu uzasadniona. Nie ma leku działającego identycznie w każdej dawce na każdego pacjenta. Nie ma też zestawu wytycznych, który poprawi wynik każdego modelu. I tak jak w medycynie - błąd w dawkowaniu nie jest neutralny. Może aktywnie zaszkodzić.

To nie brzmi jak wielka rewolucja. Brzmi jak solidna nauka inżynierska. I właśnie dlatego warto traktować to poważnie.

// czytaj dalejRankingi modeli AI są fikcją: wynik zależy od konfiguracji testu, nie od modeluNewsyCo to jest VRAM i ile pamięci karty potrzebujesz do AI (pomiary 2026)ArtykułyLM Studio, MCP i lokalne modele: ile VRAM naprawdę potrzebujeszLokalne AI