› Praca pochodzi z konferencji EMNLP 2026, zgłoszona w ramach BabyLM Challenge.
› Autorzy to Yana Veitsman, Jonas Mayer Martins, Jonathan Lautenschlager i Lisa Beinborn.
› Tekst liczy 18 stron i zawiera 11 rysunków.Na czym polega pomysłTrenowanie dużych modeli językowych wymaga ogromnych ilości tekstu i mocy obliczeniowej.
› Autorzy pytają: czy da się to obejść, ucząc model najpierw na danych, które nie są językiem naturalnym, a dopiero potem na tekstach?