› Praca pochodzi z arXiv (zgłoszona 24 września 2026) i dotyczy kategorii uczenia maszynowego.
› Autorzy to Michael Jerge oraz Suman Jana.Problem: drzewo jako model inferencji LLMAutorzy wychodzą od obserwacji, że wiele zadań związanych z inferencją dużych modeli językowych da się przedstawić jako optymalizację po drzewie.
› Konkretnie wymieniają: routing modeli, zarządzanie pamięcią podręczną prefiksów (prefix-cache management), przycinanie promptów (prompt trimming) oraz przeszukiwanie w czasie inferencji (test-time search).
› Struktura drzewiasta wynika wprost z autoregresywnego generowania tekstu - każdy prefiks definiuje węzeł, a jego możliwe kontynuacje tworzą poddrzewo poniżej.W takim drzewie węzły wewnętrzne dają tanie, ale obciążone błędem oszacowania wartości danego regionu.