Agenci z pamięcią długoterminową ufają starym danym bardziej niż aktualnym źródłom

👁 122 przeczytań

Praca autorstwa Jundonga Hu i Shekara Ramachandrana (preprint, zgłoszony do warsztatu NeurIPS 2026) dotyczy konkretnego, praktycznego problemu: co robi agent AI wyposażony w trwałą pamięć (persistent memory), gdy ta pamięć zawiera nieaktualny fakt, a wiarygodne narzędzie - na przykład API czy baza danych - zwraca wartość prawidłową? Czy model zignoruje pamięć i posłucha narzędzia? Wyniki nie są optymistyczne.

Jak zaprojektowano badanie

Autorzy zbudowali benchmark z dwoma zestawami zadań, które celowo rozróżniają dwa różne znaczenia słowa „brak pamięci”. Pierwszy zestaw, nazwany Benefit suite, zawiera zadania nierozwiązywalne bez przechowywanego faktu - pamięć jest tu niezbędna i pomocna. Drugi zestaw, Safety suite, to sytuacje odwrotne: narzędzie zewnętrzne zawsze podaje poprawną wartość, a przechowywana notatka jest nieaktualna i powinna zostać zignorowana. Modele testowano w ramach jednej rodziny architektur - Qwen3 w rozmiarach 0,6B, 1,7B, 4B i 8B - żeby zbadać, jak zachowanie zmienia się wraz ze wzrostem możliwości modelu.

Główne wyniki: zaufanie rośnie z rozmiarem modelu

W zestawie Benefit modele odpowiadają nieaktualną wartością z pamięci w 0,92-1,00 przypadku na każdym rozmiarze. To zachowanie pożądane - pamięć jest tu potrzebna. Problem ujawnia się w zestawie Safety. Autorzy mierzą wskaźnik oznaczony jako delta_mem, który pokazuje, o ile model z pamięcią wypada gorzej niż model bez pamięci w warunkach pułapki. I tu pojawia się zjawisko określone jako „capability-gated”: to większe modele tracą dokładność najbardziej, gdy nieaktualna notatka zostaje upozorowana jako aktualna. Innymi słowy, wzrost możliwości modelu nie chroni przed tym błędem - wręcz go pogłębia.

Co konkretnie wywołuje nadmierne zaufanie

Autorzy przeprowadzili eksperyment czynnikowy w układzie 2x2x2x2, testując różne cechy notatki w pamięci. Usunięcie etykiety identyfikującej notatkę jako wspomnienie zwiększa nadmierne zaufanie na każdym rozmiarze modelu. Cecha „aktualności” - czyli podanie przy nieaktualnym fakcie daty sugerującej, że jest on nowszy, niż jest w rzeczywistości - mocniej oszukuje większe modele. Autorytet źródła okazuje się słaby i nie zmienia się wraz z rozmiarem modelu. Wpływ pozycji notatki w kontekście zmienia znak: dla mniejszych modeli działa inaczej niż dla większych w tej samej rodzinie Qwen3.

Autorzy sprawdzili też, czy samo oznaczenie czegoś jako „pamięć” (a nie jako dokument) daje jakiś efekt. Na trzech mniejszych rozmiarach modele bardziej ufają nieaktualnemu dokumentowi niż nieaktualnej pamięci. Przy rozmiarze 8B różnica jest nieistotna statystycznie.

Mitygacja też zależy od rozmiaru modelu

Ujawnienie metadanych notatki (np. kiedy i skąd pochodzi) poprawia dokładność u modeli o większych możliwościach. Dla dwóch mniejszych modeli ta metoda nie działa - jedynym skutecznym rozwiązaniem okazuje się wcześniejsze rozstrzygnięcie konfliktu przed podaniem go modelowi. Autorzy potwierdzają te wyniki na niezależnej rodzinie modeli Llama-Instruct oraz na dwóch zewnętrznych zbiorach danych: RGB i MisBench.

Co z tego wynika

Według mnie to badanie wskazuje na poważną lukę w projektowaniu agentów z pamięcią długoterminową. Intuicja podpowiada, że większy i „mądrzejszy” model będzie lepiej odróżniał stare dane od aktualnych - tymczasem badanie pokazuje coś odwrotnego: większe modele są bardziej podatne na manipulację pozorną aktualnością notatki. To oznacza, że budując agenta, który przechowuje informacje o użytkowniku lub środowisku, nie możemy liczyć na to, że mocniejszy model sam się z tym upora. Potrzebna jest architektura, która albo ujawnia modelowi metadane notatek (dla większych modeli), albo rozwiązuje konflikty zanim model w ogóle je zobaczy (dla mniejszych). Dokument nie podaje gotowych rozwiązań - wskazuje jedynie kierunki mitygacji i zastrzega, że jest to preprint pod recenzją.

Źródło: arXiv cs.AI: The Memory Trust Gap: Capability-Dependent Failures in Persistent-Memory Agents (dokument z 2026-09-03). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.

// czytaj dalejPracodawcy śledzą pracowników coraz bardziej - jak chronić swoje daneNewsyAgenci AI nie są gotowi do samodzielnego prowadzenia badań naukowychNewsyAI wygrywa z matematykami pamięcią roboczą, nie inteligencjąNewsy