Która funkcja straty działa najlepiej w regresji na danych tabelarycznych?

👁 116 przeczytań

Artykuł pochodzi z października 2026 roku i jest dziełem sześciu autorów: Danila Rudenki, Georgija Bułgakowa, Nikołaja Kartaszewa, Ivana Rubaczewa, Daniila Krasylnikowa oraz Artema Babenko. Kod do eksperymentów jest publicznie dostępny pod adresem wskazanym w pracy.

Problem: brak porządnego porównania funkcji straty

Sieci neuronowe na danych tabelarycznych to aktywny obszar badań, ale wybór funkcji celu w zadaniach regresji był - jak piszą autorzy - „niedostatecznie zbadanym stopniem swobody”. Istnieje kilka linii badań proponujących alternatywy dla standardowego błędu średniokwadratowego (MSE), jednak różnice w zbiorach danych, architekturach sieci i protokołach ewaluacji utrudniały porównanie praktycznych korzyści. Autorzy postanowili wypełnić tę lukę.

Co zrobili

Przeprowadzili systematyczną ponowną ewaluację funkcji celu dla regresji. Testowali je na szerokim zbiorze uznanych zbiorów danych tabelarycznych oraz na wielu różnych architekturach sieci neuronowych (w dokumencie nie podano ich listy z nazwy). Punktem odniesienia był dobrze nastrojony MSE - autorzy podkreślają, że chodzi o „properly tuned MSE baseline”, co oznacza, że sam baseline był traktowany poważnie, nie po łebkach.

Główne wyniki porównania

Wnioski są dość surowe dla wielu proponowanych w literaturze rozwiązań: większość z nich daje „ograniczone lub niespójne korzyści” względem dobrze nastrojonego MSE. Jeden wyjątek to strata kwantylowa (quantile loss) - ona jako jedyna daje „spójne zagregowane poprawy nad MSE” na testowanych architekturach.

Nowo zidentyfikowane ograniczenie: globalny early stopping

Nawet z lepszą funkcją straty autorzy znaleźli kolejny problem. Chodzi o mechanizm wczesnego zatrzymania treningu (early stopping) - standardową technikę, w której zatrzymuje się trening modelu w momencie, gdy przestaje się poprawiać na zbiorze walidacyjnym. Autorzy zauważają, że różne regiony danych - o różnym poziomie szumu w zmiennej docelowej - osiągają swoją najlepszą wydajność predykcyjną w różnych epokach treningu. Globalny checkpoint wczesnego zatrzymania wymusza więc kompromis między tymi regionami, nawet jeśli użyta funkcja straty potrafi reprezentować heteroskedastyczne rozkłady zmiennej docelowej. Innymi słowy: jeden moment zatrzymania treningu to za mało, bo różne części przestrzeni cech „dojrzewają” w różnym tempie.

Proponowane rozwiązanie

Jako odpowiedź na ten problem autorzy wprowadzają rozszerzenie straty kwantylowej uwzględniające heteroskedastyczność. Mechanizm opiera się na wygładzaniu etykiet zależnym od danych wejściowych (input-dependent label smoothing). Autorzy opisują je jako „potencjalny środek zaradczy” - nie twierdzą, że rozwiązuje problem w pełni. Metoda ta poprawia wyniki względem zwykłej straty kwantylowej na kilku architekturach.

Czego w dokumencie nie ma

Abstrakt nie zawiera konkretnych liczb pokazujących skalę poprawy - nie podano np. o ile procent spada błąd predykcji ani na ilu dokładnie zbiorach danych przeprowadzono eksperymenty. Nie wymieniono z nazwy testowanych architektur sieci neuronowych ani konkretnych alternatywnych funkcji straty, które nie sprawdziły się w porównaniu.

Co z tego wynika

Moim zdaniem ta praca jest przydatna przede wszystkim jako przestroga przed bezkrytycznym sięganiem po „nowsze i modniejsze” funkcje straty - większość z nich nie bije solidnie nastrojonego MSE. Ciekawsza jest obserwacja dotycząca early stoppingu: to ograniczenie dotyczy praktycznie każdego, kto trenuje modele na danych tabelarycznych, a jest rzadko dyskutowane wprost. Praca porządkuje literaturę i wskazuje słabość standardowej praktyki treningowej.

Źródło: arXiv cs.AI: Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping (dokument z 2026-10-12). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.