MosaicLeaks: agenci badawczy AI wyciekają firmowe sekrety przez zwykłe wyszukiwania

👁 135 przeczytań

Badacze ServiceNow opublikowali MosaicLeaks - nowy benchmark, który pokazuje, że agenci AI typu deep research regularnie wyciekają poufne dane firmy przez serię pozornie nieszkodliwych zapytań do internetu. Zestaw zawiera 1001 wieloetapowych łańcuchów badawczych, które przeplatają informacje publiczne z prywatnymi dokumentami przedsiębiorstwa.

Problem nazywa się efektem mozaiki. Agent pracujący nad rutynowym pytaniem rozsyła kilka zwykłych zapytań do wyszukiwarki: jedno o etapie migracji do chmury, drugie o styczniowym incydencie bezpieczeństwa, trzecie zawężające, którego dostawcę dotyczył atak. Żadne z osobna nie zdradza całości. Ale ktoś podglądający ruch wychodzący agenta może złożyć fragmenty w jedno i odtworzyć fakt, który istniał wyłącznie w prywatnych dokumentach - na przykład, że firma przeniosła 70% infrastruktury do chmury do stycznia 2025 roku.

Kluczowe w tym scenariuszu jest to, że przeciwnik nie widzi ani dokumentów, ani rozumowania modelu. Widzi tylko skumulowany log zapytań do sieci i z niego próbuje wywnioskować poufne informacje.

Trzy poziomy wycieku

Autorzy mierzą zagrożenie na trzy sposoby. Wyciek intencji oznacza, że obserwator odgaduje, jakie prywatne pytania agent próbował rozwiązać. Wyciek odpowiedzi to sytuacja, w której sam log zapytań pozwala odpowiedzieć na pytanie o dane wewnętrzne, bez dostępu do dokumentów. Najpoważniejszy jest wyciek pełnej informacji - obserwator potrafi sformułować prawdziwe, weryfikowalne twierdzenia o firmie, nawet nie wiedząc, czego szukać.

W przykładzie z materiału agent dwukrotnie wyszukuje dane o wzroście ruchu sklepu Lee’s Market w 2020 roku, a trzecim zapytaniem domyka odpowiedź. Każde zapytanie z osobna wygląda niegroźnie, ale razem pozwalają wydedukować, że wynik to 15%.

Najbardziej niepokojący wniosek dotyczy treningu. Optymalizowanie agentów wyłącznie pod skuteczność wykonania zadania pogarszało wyciek danych - im sprawniejszy agent, tym chętniej zdradzał sekrety.

W odpowiedzi badacze proponują metodę uczenia ze wzmocnieniem świadomą wycieku mozaikowego, nazwaną Privacy-Aware Deep Research (PA-DR). Według ich pomiarów podnosi ona ścisłą skuteczność łańcuchów - czyli odsetek łańcuchów, w których każdy etap odpowiedziano poprawnie - z 48,7% do 58,7%, jednocześnie obniżając wyciek odpowiedzi i pełnej informacji z 34,0% do 9,9%.

To istotny sygnał dla firm wdrażających agentów łączących wewnętrzne repozytoria z wyszukiwaniem w sieci: sama jakość odpowiedzi nie wystarczy, jeśli po drodze agent wysyła na zewnątrz fragmenty układanki, którą ktoś inny może złożyć.

// czytaj dalejZamknięcie dnia: Agenci atakują, twórcy się boją. Coś się zmieniłoNewsyAgenci z pamięcią długoterminową ufają starym danym bardziej niż aktualnym źródłomNewsyZamknięcie dnia: Pentagon ukarany, Chiny w tle, agenci bez nadzoruNewsy