Małe modele językowe uczą się od dużych przez gotowe instrukcje pobierane w locie

promptowy@ai:~$ cat news_1 › Praca pochodzi od Kenana Alkieka, Davida Jurgensa i Vinoda Vydiswarana i została opublikowana na arXiv w październiku 2025 roku (ostatnia wersja z września 2026).

promptowy@ai:~$ cat news_2 › Autorzy zajmują się problemem, który każdy, kto używał małych modeli językowych na urządzeniach końcowych, zna z praktyki: mały model po prostu nie mieści w parametrach wystarczająco dużo wiedzy, żeby radzić sobie z trudnymi, specjalistycznymi pytaniami.Na czym polega problemAutorzy opisują trzy typowe podejścia do tego problemu i wskazują ich ograniczenia.

promptowy@ai:~$ cat news_3 › Doustrajanie (fine-tuning) zapisuje wiedzę w parametrach modelu, ale trzeba je powtarzać dla każdego modelu i każdej dziedziny z osobna.

promptowy@ai:~$ cat news_4 › Podawanie w prompcie wyszukanych fragmentów tekstu (retrieved passages) pozostawia modelowi zadanie samodzielnego znalezienia właściwego faktu i jego zastosowania.

Małe modele językowe uczą się od dużych przez gotowe instrukcje pobierane w locie

promptowy@ai:~$ open --full Czytaj całość Otwórz artykuł na promptowy.com