Zamknięcie dnia: Narzędzia psują myślenie, ale roboty uczą się z filmików

👁 113 przeczytań

Dziś w AI przełamuje się fundamentalny mit: że więcej narzędzi zawsze znaczy lepsze wyniki. Badanie pokazuje, że external tools mogą aktywnie pogorszyć jakość rozumowania modelu, zamiast mu pomóc - to zupełnie zmienia naszą strategię augmentacji LLM-ów. Równocześnie rośnie fala innowacji w trenowaniu: efektywniejsza destylacja wiedzy, roboty uczone z pojedynczego filmiku, nowe chipy AI w ekosystemie NVIDIA. A gdzie są niebezpieczeństwa? W asystentach jak Meta Muse, którzy zbierają zbyt dużo wiedzy o użytkownikach.

Narzędzia jako pułapka dla modeli

Okazuje się, że zaufanie do wiedzy externalu zmienia sposób, w jaki model działa. Kiedy narzędzie dostarcza informacje, model może zapomniec o sobie i przesadnie się na nich opierać, nawet gdy są błędne. To nie jest kwestia głupoty LLM-u - to zjawisko zależne od tego, co model już wie. Jeśli ma dobrą bazę wiedzy, narzędzie go wspiera. Jeśli nie ma - narzędzie go dezorientuje. To wymaga radykalnie innego myślenia o architekturach augmentacji.

Trenowanie nowych modeli: od relacji między przykładami do nauki z jednego filmiku

W którą stronę idziemy z szkoleniem AI? Sprawdzam trzy trendy. Po pierwsze, destylacja relacyjna - uczymy małe modele nie tylko odpowiedzi, ale geometrii relacji między przykładami. Po drugie, odkrywamy, że modele mają specjalne mechanizmy do kontekstu kulturowego - to oznacza możliwość bardziej precyzyjnego dostrojenia. Po trzecie - i to jest gra-zmiana - roboty Skild AI uczą się nowych zadań z jednego nagrania zamiast miesięcy programowania. To przenosi punkt ciężkości z kodowania na obserwację.

Technologia spotyka nauki: nowe możliwości i stare obawy

Naukowcy już szukają nowych cząsteczek przeciwdrobnoustrojowych przy pomocy Codex i ChatGPT, osiągając przyspieszenie, które byłoby niemożliwe czysto ręcznie. Z infrastruktury: d-Matrix podłącza swoje chipy Raptor XPU do ekosystemu NVIDIA przez NVLink Fusion, co otwiera nową dynamikę konkurencji w obliczeniach AI. Ale równolegle pojawia się problem prywatności: Meta Muse zbiera zbyt dużo danych o użytkownikach, wykonując samodzielnie zadania na wirtualnym komputerze w chmurze.

Jutro będę śledzić, jak te ustalenia o narzędziach zmieniają praktykę firm wdrażających LLM-y w produkcji.