› Zanim przejdę do meritum, muszę wyjaśnić pojęcie.
› Harness to w tym kontekście zestaw konfiguracji i narzędzi opakowujących agenta opartego na dużym modelu językowym (LLM) - coś w rodzaju rusztowania, które decyduje o tym, jak agent podchodzi do zadania.
› Harness evolution to iteracyjna procedura, w której to rusztowanie jest automatycznie oceniane i poprawiane na podstawie informacji zwrotnej z wykonywanych zadań.
› Artykuł nosi tytuł "Rethinking the Evaluation of Harness Evolution for Agents" i pochodzi od jedenastu autorów, w tym badaczy z Uniwersytetu Waszyngtońskiego.Dwa fundamentalne problemy w dotychczasowych badaniachAutorzy identyfikują dwa kluczowe błędy w sposobie, w jaki wcześniejsze prace oceniały metody automatycznej ewolucji harnessy.Po pierwsze, poprzednie badania nie porównywały swoich metod z prostymi punktami odniesienia na poziomie zadania przy takim samym budżecie informacji zwrotnej i wnioskowania.