Słownik AI / LoRA
🏗️ Modele i trening
LoRA
Lekka metoda dostrajania modelu - mała „nakładka” zamiast przetrenowania całości.
LoRA (Low-Rank Adaptation) to oszczędna technika dostrajania: zamiast modyfikować miliardy parametrów modelu, trenuje się małą „nakładkę”, która zmienia jego zachowanie. Wynik waży megabajty zamiast gigabajtów i trenuje się go na pojedynczej karcie graficznej.
LoRA zrobiła furorę zwłaszcza w generowaniu obrazów - społeczność tworzy tysiące nakładek uczących model konkretnego stylu, postaci czy produktu. W modelach językowych to popularny sposób na tanie dopasowanie otwartego modelu do własnych potrzeb.
Pojęcia powiązane