Słownik AI / Destylacja
🏗️ Modele i trening
Destylacja
Uczenie małego modelu na odpowiedziach dużego - „uczeń” przejmuje umiejętności „nauczyciela”.
Destylacja wiedzy to technika, w której mały model („uczeń”) uczy się naśladować odpowiedzi dużego modelu („nauczyciela”). Zamiast trenować malucha od zera na surowych danych, karmi się go wyjściami giganta - dzięki czemu przejmuje sporą część jego umiejętności przy ułamku rozmiaru.
To standardowy sposób tworzenia szybkich i tanich modeli do zastosowań masowych. Budzi też kontrowersje, gdy ktoś destyluje cudzy zamknięty model przez jego API - regulaminy większości dostawców wprost tego zabraniają.
Pojęcia powiązane