Speedrun trenowania modeli relacyjnych: jeden GPU, 305 sekund do celu

👁 124 przeczytań

Artykuł pochodzi z arXiv (numer 2610.28855), został złożony 20 października 2026 roku i przyjęty na warsztat CODEC-FM podczas konferencji NeurIPS 2026. Autorami są Gabriel Wedson Mendonça de Souza Veloso, Luan Borges Teodoro Reis Sena, Denis Oliveira Correa oraz Francisco Galuppo Azevedo. Praca liczy 9 stron i 4 rysunki.

Problem, który autorzy chcą rozwiązać

Trenowanie dużych modeli fundamentalnych jest kosztowne, więc eksperymenty prowadzą głównie duże laboratoria. Receptury treningowe powstają wewnątrz tych laboratoriów, są opisywane według wewnętrznych protokołów i nie kumulują się w postaci wiedzy dostępnej dla wszystkich. Autorzy twierdzą, że postęp w tej dziedzinie jest uzależniony od tego, kogo stać na przeprowadzenie próby - i że modele relacyjne (trenowane na danych z baz relacyjnych) nie są tu wyjątkiem.

Proponowane rozwiązanie: tablica wyników w stylu speedrunu

Autorzy proponują przeniesienie idei znanych z gier wideo - tzw. speedrunów, czyli zawodów na czas - na grunt trenowania modeli AI. Zasada jest prosta: problem jest ustalony, zestaw narzędzi jest otwarty, a zgłoszenia rankinguje się według czasu zegarowego potrzebnego do osiągnięcia określonego progu jakości. Co istotne, autorzy podkreślają, że do pobicia rekordu wystarczy jeden GPU - co ma obniżyć barierę wejścia dla niezależnych badaczy.

Narzędzie, które wprowadzają, nazywa się modded-nanoRT i jest według nich pierwszą tego typu tablicą wyników dla tzw. Relational Transformers, czyli modeli transformerowych przeznaczonych do pracy z danymi relacyjnymi.

Wybór bazy danych do benchmarku

Autorzy zwracają uwagę na nieoczywisty problem: wybór bazy danych, która służy jako punkt odniesienia w benchmarku, decyduje o tym, czy benchmark w ogóle potrafi odróżnić prawdziwe ulepszenie od szumu losowego. Żeby rozwiązać ten problem, przeprowadzili kalibrację - ocenili sześciu kandydatów według tego, jak wyraźnie 45-minutowa krzywa uczenia się oddziela rzeczywistą poprawę od wariancji wynikającej z inicjalizacji losowej (tzw. seed noise). Na tej podstawie wybrali jeden zestaw danych jako zamrożony punkt odniesienia.

Techniczna zawartość rekordu

Autorzy otwierają tablicę wyników własną recepturą, która łączy trzy elementy. Pierwszy to tzw. typed trilinear attention - operator relacyjny, który warunkuje wyniki uwagi (attention scores) oraz wartości (values) na podstawie przechodzonych kluczy obcych w bazie danych. Drugi to optymalizator Muon. Trzeci to technika SIGReg. Dokument nie wyjaśnia szczegółowo mechanizmów Muon ani SIGReg - są wymienione z nazwy bez rozwinięcia w dostępnym abstrakcie.

Wynik: receptura osiąga cel jakościowy w 305,63 sekundy na jednej karcie NVIDIA H200, co jest 8,11 raza szybsze niż implementacja referencyjna. W testach poza bazą użytą do opracowania receptury, rozwiązanie wygrało w 13 na 15 porównywanych par.

Dostępność

Autorzy deklarują, że opublikują benchmark, jego zamrożone artefakty oraz przebiegi rekordowe. Kod jest już dostępny pod adresem podanym w pracy. Repozytorium nie jest wymienione z nazwy w dostępnym abstrakcie.

Co z tego wynika

To krótka praca warsztatowa (9 stron) bez nowej architektury ani wyników na dużą skalę. Wartość praktyczna leży gdzie indziej: jeśli tablica wyników faktycznie zadziała tak, jak opisują autorzy, może stać się miejscem, gdzie pojedynczy badacz z jedną kartą graficzną może rywalizować z laboratorium i wnosić realny wkład w postęp metod treningowych dla modeli relacyjnych. To ciekawy pomysł organizacyjny, choć na razie mamy tylko jeden wpis - od samych twórców. Warto obserwować, czy społeczność rzeczywiście zacznie z tego korzystać.

Źródło: arXiv cs.AI: Speedrunning Relational Foundation Model Pretraining (dokument z 2026-10-22). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.