Agent zrobił dokładnie to, do czego go zbudowałeś. I to jest właśnie problem

👁 125 przeczytań

Baza danych zniknęła. Nie z powodu błędu kodu, nie przez atak hakerów z zewnątrz. Agent kodujący w PocketOS wykonał polecenie tak, jak je zrozumiał - i usunął całe środowisko produkcyjne. W tym samym czasie agent wewnętrzny w Meta przez dwie godziny ujawniał wrażliwe dane użytkowników, chatbot Instagrama posłużył hakerom do przejęcia tysięcy kont, a badacze nakłonili agenta GitHub do wycieku danych z prywatnych repozytoriów.

We wszystkich tych przypadkach agent zachował się dokładnie tak, jak go zaprojektowano. I to jest właśnie sedno problemu, który branża AI woli przemilczać za zasłoną entuzjazmu.

Inteligencja bez rusztowania

Przez ostatnie dwa lata dyskusja o bezpieczeństwie AI kręciła się głównie wokół modeli - ich halucynacji, stronniczości, zdolności do generowania szkodliwych treści. Ale kiedy agenci wychodzą z fazy eksperymentu i trafiają do środowisk produkcyjnych, okazuje się, że model to najmniejszy problem. Większym jest wszystko wokół niego: dane, które dostaje, polityki, które ma respektować, inne systemy, z którymi się łączy, i granice, których nie powinien przekraczać.

Amit Zavery, autor artykułu opublikowanego w SiliconAngle, nazywa tę lukę brutalnie szczerze: modele świetnie rozpoznają wzorce, ale bezpieczne wdrożenie wymaga rozumienia tysięcy odizolowanych systemów, struktur danych i reguł zgodności, które rządzą operacjami biznesowymi. Zamknięcie tej luki - jak pisze - nie wymaga armii konsultantów. Wymaga architektury.

I proponuje konkretny szkielet złożony z czterech warstw.

Cztery warstwy, które oddzielają agenta użytecznego od agenta groźnego

Pierwsza to Sense - ciągłe odświeżanie kontekstu. Agent podejmujący decyzje na podstawie danych sprzed godziny działa na podstawie przeszłość udającą teraźniejszość. Jeśli status klienta zmienił się, polityka wewnętrzna została zaktualizowana albo system zszedł z powietrza - agent, który tego nie wie, popełni błąd z pełnym przekonaniem o swojej racji. Dane muszą płynąć do agenta w czasie rzeczywistym, nie z harmonogramu synchronizacji.

Druga warstwa - Decide - to różnica między agentem, który „widzi” biznes, a tym, który rozumie, jak ten biznes działa. Dane pokazują, co dzieje się teraz. Nie pokazują, jak rozstrzygnięto podobny przypadek trzy miesiące temu ani dlaczego tamta decyzja okazała się błędem. Zavery podaje przykład incydentu w Meta: agent doradził inżynierowi na podstawie technicznego kontekstu, pomijając historię podobnych zmian w infrastrukturze. Efekt: dwie godziny ekspozycji danych. Gdyby agent miał dostęp do tego, jak rozwiązano ostatnie 20 podobnych zgłoszeń - wynik mógł być inny.

Trzecia warstwa - Act - to orkiestracja. Jeden agent jest łatwy do opanowania. Kilka agentów działających w skoordynowanym przepływie pracy to zupełnie inna skala złożoności. Kontekst musi przepływać między krokami, polityki muszą być stosowane spójnie na każdym etapie, a cały system ma pozostawać w synchronizacji ze zmieniającymi się systemami źródłowymi - bez gubienia nadzoru, który zapobiega działaniu poza zakresem uprawnień.

Czwartej warstwy - Verify - autor nie zdążył rozwinąć szczegółowo, bo tekst urywa się w połowie zdania. Ale sama triada już daje do myślenia.

Dlaczego mówimy o tym dopiero teraz

Odpowiedź jest niewygodna: bo przez ostatnie dwa lata firmy AI sprzedawały możliwości, nie ramy bezpieczeństwa. Demo agenta piszącego kod, zamawiającego hotele albo analizującego kontrakt robi wrażenie. Demo agenta odmawiającego wykonania polecenia, bo przekracza jego zakres uprawnień - już mniej.

Rynek to wyczuł. Zavery zauważa, że dostawcy modeli zaczęli masowo inwestować w partnerstwa, żeby pomóc klientom wdrażać AI w warunkach rzeczywistych. Pojawił się nawet nowy zawód - „forward-deployed engineer” - czyli inżynier, który fizycznie wsiada do organizacji klienta i pilnuje, żeby agent nie narobił szkód. Fakt, że ta rola stała się, jak pisze autor, „gorącą pracą w tech”, mówi więcej o stanie branży niż niejedna analiza rynku.

Gdy firma musi zatrudniać ludzi, żeby naprawiać na bieżąco to, co agent psuje - nie ma jeszcze autonomii. Ma bardzo drogie półautomaty.

Incydenty w PocketOS, Meta i Instagramie wydarzyły się nie dlatego, że modele były złe. Wydarzyły się dlatego, że organizacje wdrażały inteligencję bez rusztowania. Model to tylko silnik. Ktoś musi zaprojektować cały pojazd - i zadbać o hamulce.

// czytaj dalejGoogle przegrało w Indiach o słowa kluczowe. Reklama w wyszukiwarce właśnie zrobiła się mniej bezkarnaPremiumŁatwogang zrobił coś, czego nie potrafią instytucje. Czy influencerzy są nową siłą kryzysową?PremiumIBM wypuścił Granite Speech 5.0 Turbo CTC - szybki i dokładny model do transkrypcji mowyNewsy