iLLaDA od ByteDance: dyfuzyjny model językowy 8B, który dorównuje Qwen2.5

👁 163 przeczytań

Badacze z chińskiego Uniwersytetu Renmin oraz firmy ByteDance opublikowali iLLaDA - dyfuzyjny model językowy o 8 miliardach parametrów, który na poziomie bazowym minimalnie wyprzedza autoregresyjny Qwen2.5 7B. Po dostrojeniu instrukcyjnym model wyraźnie zostaje jednak w tyle.

Niemal wszystkie znane modele językowe - GPT, Claude czy Qwen - generują tekst autoregresyjnie: słowo po słowie, od lewej do prawej, gdzie każdy nowy token zależy wyłącznie od poprzednich. Modele dyfuzyjne działają inaczej. Zaczynają od sekwencji znaczników-zaślepek (tzw. masked tokens) i doprecyzowują je w wielu równoległych przebiegach, podobnie jak modele obrazu wyłaniają zdjęcie z szumu. Każda pozycja może jednocześnie odnosić się do każdej innej, co czyni proces dwukierunkowym.

Trening od zera, nacisk na jakość

iLLaDA, czyli „improved LLaDA”, to gęsty model 8B trenowany od zera z naciskiem na jakość. Zespół wytrenował go wstępnie na 12 bilionach tokenów - wobec 2,3 biliona dla poprzednika LLaDA - i dostroił przez dwanaście epok. Według artykułu wersja iLLaDA-Base wyraźnie poprawia wynik poprzednika, skacząc na przykład o 21,6 punktu w teście rozumowania BBH. Średnio osiąga 63,9 punktu, co stawia ją tuż przed autoregresyjnym Qwen2.5 7B z wynikiem 63,3.

Korzystnie wypada też porównanie z konkurencyjnym modelem dyfuzyjnym Dream 7B, który nie był trenowany od zera, lecz dostrojony z istniejącego punktu kontrolnego Qwen2.5. iLLaDA i tak wygrywa średnio 63,9 do 61,4, mimo braku przewagi mocnej bazy autoregresyjnej. Dream utrzymuje niewielką przewagę jedynie w testach programistycznych.

Pozostaje za to luka na poziomie instrukcyjnym. iLLaDA-Instruct osiąga 67,1 punktu, podczas gdy Qwen2.5 7B Instruct zdobywa 77,1, a większość różnicy generują matematyka i kod. Autorzy tłumaczą to dodatkowym dostrajaniem przez uczenie ze wzmocnieniem w Qwen2.5, którego iLLaDA nie ma. W aneksie zauważają też, że przy trudniejszych zadaniach model potrafi zaciąć się w pętlach rozumowania.

iLLaDA wpisuje się w szerszy nurt, do którego należy także Google. W czerwcu 2026 Google DeepMind wypuściło DiffusionGemma - model generujący tekst około cztery razy szybciej dzięki dyfuzji, ale słabiej wypadający w testach takich jak MMLU i kod od podobnej rozmiarem autoregresyjnej Gemmy 4. Google poleca go do zastosowań wymagających niskich opóźnień, a nie do produkcji krytycznej dla jakości. DiffusionGemma idzie więc w przeciwnym kierunku niż iLLaDA: stawia na szybkość, podczas gdy chiński model goni za jakością.

Pytanie, które stoi za całym tym nurtem, brzmi prosto: czy model dyfuzyjny zbudowany od podstaw może realnie dorównać modelom autoregresyjnym. Na poziomie bazowym iLLaDA pokazuje, że tak.

// czytaj dalejHolo4: 27-miliardowy model do sterowania komputerem, który uczy się z jednego przykładuNewsyMuzyka i automaty komórkowe zamiast tekstu - czy da się wytrenować model językowy na nie-językach?NewsySkompresowany model 4-bitowy, który bije swój oryginał na pełnej precyzjiNewsy