Słownik AI / Benchmark
🤖 Agenty i narzędzia
Benchmark
Standardowy test, którym porównuje się modele (np. w matematyce czy kodowaniu).
Benchmark to wystandaryzowany test służący porównywaniu modeli: zestaw zadań z matematyki, wiedzy ogólnej, programowania czy rozumienia języka, na którym każdy model dostaje wynik punktowy. To dzięki benchmarkom da się powiedzieć, że model X radzi sobie z kodem lepiej niż Y.
Do wyników warto podchodzić z rezerwą: popularne testy z czasem „przeciekają” do danych treningowych, a producenci optymalizują modele pod mierniki. Dlatego obok klasycznych benchmarków rosną rankingi oparte na ślepych ocenach ludzi oraz testy prywatne - a najlepszym benchmarkiem pozostaje własne zadanie.
Pojęcia powiązane