Modele AI prowadziły firmę przez 500 dni - tylko trzy nie zbankrutowały

👁 153 przeczytań

Badacze z Uniwersytetu Princeton zbudowali CEO-Bench - test, w którym agent AI ma prowadzić fikcyjną firmę software’ową przez 500 symulowanych dni, a o wyniku decyduje stan gotówki na koniec. Tylko trzy modele zakończyły grę powyżej kapitału początkowego. Większość zbankrutowała, a prosta reguła decyzyjna bez żadnej AI pokonała niemal wszystkich agentów.

W symulacji agent kieruje firmą subskrypcyjną o nazwie NovaMind. Punkt wyjścia: zero klientów i milion dolarów na koncie. Jeśli saldo choć raz spadnie poniżej zera, firma bankrutuje i symulacja się kończy. Agent steruje przedsiębiorstwem przez API w Pythonie z 34 narzędziami i bazą danych liczącą 19 tabel - zamiast wydawać pojedyncze polecenia, sam pisze kod, odpytuje bazę przez SQL i buduje własne procesy.

Decyzji jest mnóstwo: ceny i pakiety, budżety reklamowe w różnych kanałach, jakość produktu i prace badawczo-rozwojowe, pojemność infrastruktury, obsługa klienta oraz wieloetapowe negocjacje z klientami korporacyjnymi. Do tego dochodzi symulowana sieć społecznościowa, w której agent czyta skargi, wiadomości o konkurencji i trendy gospodarcze, a sam też publikuje.

Tym, co czyni zadanie trudnym, jest czas i niepewność. Przychody pojawiają się dopiero w dniach rozliczeń, projekty badawcze trwają dni lub tygodnie, a skutki błędów ujawniają się z opóźnieniem - przez odpływ klientów lub nadszarpniętą reputację. Koszty uderzają od razu, a dużą część stanu firmy agent ma ukrytą i musi ją wyczytać z zaszumionych sygnałów.

Autorzy nazywają tę umiejętność „inteligencją sterowania” i odróżniają ją od wąskich zadań, w których agenci są coraz lepsi. Jako wzór podają Apple z 1997 roku - 90 dni od bankructwa - gdy Steve Jobs narysował prostą siatkę dwa na dwa i zdecydował, że firma robi produkty tylko w czterech polach.

Pełny opis benchmarku znajdziesz w pracy na arXiv.

Wynik nie zaskakuje: prowadzenie organizacji przez setki dni to wciąż inny problem niż naprawienie jednego błędu w kodzie.

// czytaj dalejGPT-5.5 jest droższy w praktyce. Najmocniejsze modele stają się luksusowym paliwem internetuPremiumModele są już tak dobre, że testy przestają za nimi nadążaćPremiumNajlepsze modele AI do tworzenia treści SEO - kompletny przewodnik 2026Midjourney