Dzieci uczą się języka 100 000 razy wydajniej niż modele AI - naukowcy nie wiedzą jak

👁 143 przeczytań

Kognitywista Michael C. Frank ze Stanforda podsumował obecny stan badań nad tzw. data efficiency gap - przepaścią między ilością danych potrzebnych maszynom a tym, czego wystarcza dzieciom do nauki języka. Duże modele językowe mogą przetwarzać stukrotnie więcej słów niż człowiek przez całe życie, a mimo to dziecko zaczyna rozumieć mowę już przed pierwszymi urodzinami.

Według szacunków Ethana Gotlieba Wilcoxa z Uniwersytetu Georgetown, opisanych przez MIT Technology Review, model taki jak Llama 3.1 od Meta trenował na 15 bilionach tokenów - a modele frontier mogą używać nawet dziesięciokrotnie więcej. Wydrukowane dane treningowe sięgałyby poza Międzynarodową Stację Kosmiczną. Porównywalne dane dla dziecka to stos zaledwie 20 metrów.

Stawką jest nie tylko ciekawość badawcza. Zasoby tekstu dostępnego w internecie mogą się wyczerpać już w latach 30. XXI wieku, co sprawia, że zrozumienie mechanizmów uczenia się dzieci staje się kluczowe dla dalszego rozwoju AI - szczególnie w zastosowaniach dla języków mniejszościowych czy uczenia modeli na danych wideo.

// czytaj dalejModele T2I generują ładne, ale błędne obrazy naukowe - jest na to sposóbNewsyCzarne dziury czkają miesiące po posiłku. Naukowcy wreszcie wiedzą dlaczegoNaukaROAR: jeden system do porównywania wyników różnych narzędzi AI do badań naukowychNewsy