Nash-MOPD: jak lepiej rozdzielać trening między dziedziny przy destylacji wielu nauczycieli

👁 115 przeczytań

Praca pochodzi z arXiv (cs.LG / cs.AI), została zgłoszona 19 października 2026 roku przez Siyuana Gana i sześciu współautorów z afiliacji, których dokument nie wymienia wprost.

Problem: jak dzielić budżet treningowy między kilku nauczycieli

Destylacja z wieloma nauczycielami (Multi-teacher On-Policy Distillation, MOPD) polega na tym, że jeden model-uczeń uczy się jednocześnie od kilku modeli-ekspertów, każdego wyspecjalizowanego w innej dziedzinie - np. matematyce i kodowaniu. Kłopot polega na tym, że uczeń ma skończoną liczbę kroków optymalizacji i próbek (rolloutów), które trzeba jakoś podzielić między dziedziny.

Autorzy opisują dwa istniejące podejścia bazowe. Pierwsze, nazwane Fixed, używa stałych proporcji próbkowania domen opartych na wielkości korpusu - bez żadnej adaptacji. Drugie, D3-MOPD, dostosowuje proporcje dynamicznie, korzystając z odwrotnej dywergencji KL między nauczycielem a uczniem oraz jej ostatniego spadku. Problem z D3-MOPD polega jednak na tym, że faworyzuje domeny, które ostatnio szybko się poprawiają - przez co domeny uczące się wolniej mogą dostawać zbyt mało przykładów.

Propozycja: lokalna gra minimax i równowaga Nasha

Nash-MOPD rozwiązuje ten problem przez sformułowanie przydziału domen jako lokalnej gry minimax. Równowaga tej gry maksymalizuje najmniejszą przewidywaną proporcjonalną redukcję (odwrotnej dywergencji KL) w lokalnym modelu - czyli chroni domeny, które poprawiają się wolniej, przed niedofinansowaniem. Mówiąc prościej: metoda daje więcej promptów tym dziedzinom, które potrzebują więcej przykładów, żeby osiągnąć porównywalną poprawę.

Autorzy podkreślają, że Nash-MOPD nie wymaga dodatkowych zapytań do nauczycieli ani dodatkowych rolloutów - korzysta z tych samych statystyk odwrotnej dywergencji KL, które już są dostępne w procesie treningu.

Wyniki eksperymentów

Testy przeprowadzono na dwóch modelach bazowych: DeepSeek-R1-Distill-Qwen-1.5B oraz Qwen3-8B-Base. Autorzy raportują wyniki po 100 krokach treningowych. Na modelu DeepSeek-R1-Distill-Qwen-1.5B Nash-MOPD przekracza po 100 krokach ostateczne wyniki obu metod bazowych (Fixed i D3-MOPD) w zakresie matematyki i kodu. Na Qwen3-8B-Base po 100 krokach dorównuje wynikowi końcowemu metody Fixed.

W zbiorczym zestawieniu Nash-MOPD prowadzi w ośmiu z dziewięciu raportowanych metryk i jest najlepszy lub remisuje z najlepszym we wszystkich sześciu metrykach dokładności dla matematyki i kodu. Dokument nie podaje szczegółowych wartości liczbowych tych metryk - te informacje nie są dostępne w samym abstrakcie.

Czego w dokumencie nie ma

Dostępny tekst to wyłącznie abstrakt z arXiv. Nie ma w nim szczegółowych tabel wyników, opisu architektury nauczycieli, listy użytych zbiorów danych, analizy kosztów obliczeniowych ani porównania z metodami spoza grupy MOPD. Pełne szczegóły metodologiczne i eksperymenty ablacyjne mogą znajdować się w pełnej wersji PDF, której treść nie została dostarczona.

Co z tego wynika

To wczesny preprinт (brak recenzji), więc do wyników należy podchodzić ostrożnie. Sam pomysł - użycie równowagi Nasha do ochrony wolno uczących się domen zamiast nagradzania tych, które i tak szybko rosną - wydaje mi się sensowny koncepcyjnie i ekonomiczny obliczeniowo, bo nie dokłada nowych zapytań do nauczycieli. Jeśli wyniki z pełnego artykułu potwierdzą przewagę już po 100 krokach, może to być istotny argument za stosowaniem Nash-MOPD wszędzie tam, gdzie trenuje się jeden model na wielu specjalistycznych zbiorach. Na razie jednak mamy tylko abstrakt i nie wiadomo, jak duże są te różnice w liczbach bezwzględnych.

Źródło: arXiv cs.AI: Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation (dokument z 2026-10-20). To omówienie powstało na podstawie pełnego tekstu dokumentu, nie relacji innych mediów.