Startup, który chce zbić halucynacje do zera - i twierdzi, że laboratoria AI specjalnie tego nie robią

👁 133 przeczytań

Jest takie pytanie, które wisi nad całą branżą AI od premiery pierwszego naprawdę dobrego chatbota: skoro modele są coraz mądrzejsze, dlaczego dalej kłamią z pełnym przekonaniem? Halucynacje okazały się problemem zdumiewająco odpornym na postęp. Pojawiają się nawet w najlepszych modelach, da się je wyłapywać, ale nikt nie wie, jak robić to naprawdę dobrze. I właśnie w tę szczelinę wchodzi Probably - startup, który zebrał 9 milionów dolarów rundy zalążkowej od Andreessen Horowitz na obietnicę, że błędy faktograficzne po prostu nigdy nie dotrą do użytkownika.

Cel, który stawia sobie założyciel Peter Elias, brzmi jak liczba przeniesiona z zupełnie innego świata: 99,99 procent trafności. To poziom, który jest normą w systemach deterministycznych - takich, gdzie ten sam input zawsze daje ten sam output - ale dla AI jest praktycznie nieosiągalny. I tu zaczyna się część, która naprawdę mnie zaciekawiła, bo Elias nie próbuje dobudować jeszcze mądrzejszego modelu. Robi coś odwrotnego.

Pierwszy produkt firmy to narzędzie do analizy danych - ma wyciągać szybkie odpowiedzi z dużych, skomplikowanych zbiorów. Każdy wynik dostaje cytat i ślad audytowy pokazujący, jak powstał, co dziś staje się standardem w poważnych narzędziach AI. Sztuczka jest jednak gdzie indziej. Pierwsza odpowiedź modelu trafia do deterministycznego walidatora, który odbija wszystko, co nie zgadza się z danymi. Model został wytrenowany przeciwko temu walidatorowi, a całość zoptymalizowano pod szybkie i poprawne wyniki. Elias nazywa tę konstrukcję „egzoszkieletem dla data science” - i ta metafora robi tu całą robotę.

Bo najciekawsze jest to, co z niej wynika. Im lepiej zaprojektujesz obudowę wokół modelu, tym słabszy model wystarczy.

„To, czego się nauczyliśmy przy budowaniu tego, to że im lepsza twoja inżynieria obudowy, tym słabszy może być model. Jeśli wystarczająco doprecyzujesz kontekst, model nie musi się specjalnie wysilać, żeby zrobić to, co trzeba. To w gruncie rzeczy ćwiczenie z redukowania niejednoznaczności.”

- Peter Elias, założyciel Probably

Ta jedna myśl wywraca sporo branżowych założeń. Cały wyścig ostatnich lat polega na tym, żeby trenować coraz większe modele, coraz droższe, coraz bardziej żarłoczne na moc obliczeniową. Probably idzie pod prąd: skoro otoczenie wokół modelu jest wystarczająco precyzyjne, można użyć modelu „o cztery klasy słabszego niż modele graniczne”. A słabszy model oznacza coś, o czym dziś wielu klientów AI marzy - że da się go uruchomić lokalnie. Na zwykłym komputerze, a nie w centrum danych. To wycina ogromną część kosztów tokenów, które właśnie rosną i które zmuszają firmy do przeglądania swoich budżetów na AI.

I tu robi się naprawdę pikantnie, bo Elias nie zatrzymuje się na technologii. Wskazuje palcem na cały model biznesowy wielkich laboratoriów AI. Jego zdaniem to nie przypadek, że nikt z dużych graczy nawet nie próbuje pójść tą drogą.

„Uważam, że to naprawdę ciekawe, że wielkie laboratoria AI nawet nie próbowały tego zrobić. Mają motywację, żeby tego nie robić, bo zarabiają tym więcej, im więcej razy musisz poprawiać model.”

- Peter Elias

To oskarżenie, które warto rozłożyć na czynniki. Jeśli płacisz za każdy token, a model myli się i każe ci dopytywać, poprawiać, generować na nowo - to jego niedoskonałość staje się dla dostawcy źródłem przychodu. Nie twierdzę, że ktoś świadomie psuje modele. Ale logika ekonomiczna, którą Elias obnaża, jest niewygodnie spójna: w świecie rozliczanym za zużycie nikt nie ma twardej motywacji, żeby model przestał się mylić za pierwszym razem. Probably odwraca tę zachętę - im mniej poprawek, tym lepiej dla klienta i dla rachunku.

Oczywiście jestem ostrożny. 99,99 procent to liczba, która brzmi wspaniale w komunikacie prasowym i znacznie trudniej obroni się na produkcji, przy prawdziwych, brudnych danych klientów. Walidator deterministyczny działa świetnie, dopóki świat da się sprowadzić do reguł, które można sprawdzić wobec zbioru danych. Pytanie, jak ten egzoszkielet poradzi sobie z pytaniami, w których „poprawna odpowiedź” nie jest jednoznaczna. Sam Elias zresztą zapowiada, że ten sam silnik chce rozszerzyć na księgowość, usługi medyczne i każdy, jak to ujmuje, „przypadek wrażliwy na precyzję” - a to są akurat dziedziny, w których pomyłka kosztuje najwięcej.

Mimo to kibicuję temu pomysłowi, bo wskazuje on kierunek, o którym za mało się mówi. Zamiast czekać, aż kolejny gigantyczny model magicznie przestanie zmyślać, można zbudować wokół słabszego modelu na tyle sprytne rusztowanie, że błąd po prostu nie ma jak wyjść na zewnątrz. To mniej efektowne niż premiera nowego modelu granicznego. Ale jeśli zadziała, to być może właśnie tak będzie wyglądać AI, której można zaufać w robocie.

// czytaj dalejYann LeCun kontra reszta świata. Człowiek, który twierdzi, że ChatGPT to ślepa uliczkaPremiumZamknięcie dnia: Dzień, który nadwyrężył zaufanie do AINewsyKiedy uczniowie robią deepfake’i z nauczycielemNewsy