› Praca pochodzi z arXiv (cs.LG / cs.AI), została zgłoszona 19 października 2026 roku przez Siyuana Gana i sześciu współautorów z afiliacji, których dokument nie wymienia wprost.Problem: jak dzielić budżet treningowy między kilku nauczycieliDestylacja z wieloma nauczycielami (Multi-teacher On-Policy Distillation, MOPD) polega na tym, że jeden model-uczeń uczy się jednocześnie od kilku modeli-ekspertów, każdego wyspecjalizowanego w innej dziedzinie - np.
› Kłopot polega na tym, że uczeń ma skończoną liczbę kroków optymalizacji i próbek (rolloutów), które trzeba jakoś podzielić między dziedziny.Autorzy opisują dwa istniejące podejścia bazowe.
› Pierwsze, nazwane Fixed, używa stałych proporcji próbkowania domen opartych na wielkości korpusu - bez żadnej adaptacji.
› Drugie, D3-MOPD, dostosowuje proporcje dynamicznie, korzystając z odwrotnej dywergencji KL między nauczycielem a uczniem oraz jej ostatniego spadku.