› scaling laws) to empiryczne zależności, które mówią laboratoriom AI, jak zmienia się jakość modelu wraz ze wzrostem liczby parametrów, ilości danych treningowych i budżetu obliczeniowego.
› Laboratoria używają ich do podejmowania decyzji projektowych przed właściwym treningiem dużych modeli - żeby nie wydawać miliardów dolarów na ślepo.
› Problem: żeby wyznaczyć prawo, trzeba najpierw dużo potrenować Standardowe podejście polega na wytrenowaniu gęstej siatki konfiguracji - różnych kombinacji hiperparametrów, budżetów tokenów i liczby parametrów.
› Co gorsza, do samego dopasowania prawa skalowania potrzebna jest tylko tak zwana granica najlepszych strat (best-loss frontier) dla różnych skal obliczeniowych.