Halucynacje nie znikną. Pramaana Labs chce je po prostu obstawić matematyką

👁 129 przeczytań

Mam tezę, której będę bronił przez najbliższe akapity: branża AI w końcu przyznała, że nie umie ufać własnym modelom. I zamiast to ukrywać, robi z tego model biznesowy. Najnowszy dowód właśnie wpadł na konto pewnego startupu z Doliny Krzemowej.

W środę Pramaana Labs ogłosiła rundę seed na 27 milionów dolarów, prowadzoną przez Khosla Ventures, z udziałem Accel, Boldcap, Nexus Venture Partners, Premji Invest i Unbound. Jak na rundę zalążkową to kwota, na którą inne startupy pracują latami. Ale nie liczby są tu najciekawsze. Najciekawszy jest pomysł, że problem zaufania do AI rozwiążemy nie kolejnym większym modelem, lecz czymś dokładnie odwrotnym - twardą, deterministyczną logiką wziętą z dowodzenia twierdzeń matematycznych.

Najchaotyczniejszy system spotyka najbardziej niezawodny

Pomysł Pramaany brzmi jak żart programisty: weźmy LLM, czyli jedno z najbardziej kapryśnych narzędzi w historii informatyki, i posadźmy na nim warstwę formalnej weryfikacji, czyli jedno z najbardziej rygorystycznych. Model generuje odpowiedzi w naturalnym języku, bo to potrafi. A nad nim czuwa deterministyczna warstwa, która sprawdza, czy LLM nie zmyśla.

Łączenie generatywnego silnika z deterministyczną weryfikacją to dziś popularny przepis. Wyróżnik Pramaany jest gdzie indziej: firma sięga po LEAN, otwartoźródłowy język służący do weryfikowania dowodów matematycznych, i buduje na jego wzór osobny system kontroli dla każdej dziedziny. Dla każdego zastosowania - inny, nadzorowany przez ekspertów z danej branży.

Spółka celuje świadomie w obszary, w których pomyłka kosztuje najwięcej: prawo, odkrywanie leków i rozliczenia podatkowe. To nie przypadek. Tam, gdzie błąd potrafi pozbawić kogoś zdrowia, pieniędzy albo wolności, nikt nie zaakceptuje modelu, który raz na jakiś czas po prostu coś sobie wymyśli.

Podatki to matematyka, tylko bardziej przerażająca

Współzałożyciel i CEO Ranjan Rajagopalan tłumaczy logikę na przykładzie kodeksu podatkowego.

„To jak matematyka w tym sensie, że masz mnóstwo reguł, których musisz przestrzegać. Gdy już masz skodyfikowaną wersję tych reguł, rozumowanie na ich podstawie zaczyna być deterministyczne.”

- Ranjan Rajagopalan, CEO Pramaana Labs, w rozmowie z TechCrunch

I tu pojawia się najmocniejszy argument za tym, że to nie jest kolejny slajd inwestorski. Pramaana nie buduje na wierze - ma precedens. Rajagopalan wskazuje na francuski projekt CATALA, który przekłada znaczną część francuskiego systemu podatkowego i świadczeń na wykonywalny kod. Okazuje się, że biurokracja, którą wszyscy przeklinają, jest pod spodem zaskakująco bliska programowi komputerowemu. Tylko nikt jej tak nie zapisał.

Do każdej dziedziny firma dobiera nazwiska, które mają uwiarygodnić system. Za podatki odpowiada były komisarz amerykańskiego IRS Danny Werfel. Nad cyberbezpieczeństwem i odkrywaniem leków czuwają profesorowie z IIT Delhi, IIT Madras i UC Berkeley. To sygnał, że domenowa wiedza ekspercka jest tu równie ważna co kod - bo ktoś musi najpierw spisać reguły, zanim maszyna zacznie je egzekwować.

Dlaczego mnie to przekonuje, choć nie do końca

Wracam do mojej tezy, bo Rajagopalan ujmuje ją lepiej niż ja:

„Najtrudniejsze problemy świata nie są nierozwiązywalne. One są niesformalizowane. Każda dziedzina, w której bycie w błędzie może kosztować kogoś zdrowie, pieniądze albo wolność, ma swoje reguły.”

- Ranjan Rajagopalan

To zgrabne zdanie i wierzę w nie mniej więcej w trzech czwartych. Bo owszem, prawo podatkowe da się skodyfikować. Ale ironia polega na tym, że właśnie te dziedziny, które brzmią jak „zbiór reguł”, w praktyce żyją z wyjątków, interpretacji i precedensów. Kodeks podatkowy ma reguły, ale ma też orzecznictwo, które te reguły regularnie wywraca. Odkrywanie leków ma reguły biochemii, ale i ogromne połacie nieznanego. Sformalizować można to, co już zrozumieliśmy. Reszta i tak zostaje na barkach kapryśnego LLM-a pod spodem.

Mimo to kibicuję temu podejściu mocniej niż kolejnym zapowiedziom „jeszcze inteligentniejszego” modelu. Bo Pramaana przyznaje rzecz, którą cała branża długo wypierała: że samego skalowania nie wystarczy, by ktokolwiek wpuścił AI do swojego zeznania podatkowego czy dokumentacji klinicznej. Reliability, niezawodność, stała się walutą - a firmy wciąż męczą się z przekuciem pilotaży AI w realnie działające części biznesu.

27 milionów dolarów to zakład o to, że przyszłość poważnej AI nie należy do modeli, które brzmią najbardziej przekonująco, lecz do tych, które potrafią udowodnić, że mają rację. To brzmi nudno. I właśnie dlatego może się okazać najrozsądniejszą rzeczą, jaką ta branża zrobiła od dawna.

// czytaj dalejOntologie matematyczne jako korekta halucynacji modeli językowychNewsyAI wygrywa z matematykami pamięcią roboczą, nie inteligencjąNewsyOpenAI rozwiązało 10 długoletnich problemów matematycznych. Środowisko naukowców jest podekscytowane i przestraszone zarazemNewsy