Eksperci wątpią, że Kimi K3 powstał przez kradzież modelu Anthropica
Doradca naukowy Białego Domu oskarżył chińską firmę Moonshot o skopiowanie modelu Fable od Anthropica, ale eksperci twierdzą, że sama destylacja nie mogła dać tak silnego modelu w tak krótkim czasie.
👁 115 przeczytań
Doradca naukowy Białego Domu Michael Kratsios oskarżył w tym tygodniu chińską firmę Moonshot o zbudowanie modelu Kimi K3 - największego dostępnego open-weight LLM - poprzez skopiowanie modelu Fable od Anthropica z użyciem chipów objętych zakazem eksportu do Chin. Eksperci są jednak sceptyczni wobec tej tezy.
„Zakrojona na wielką skalę, tajna przemysłowa destylacja wymierzona w kradzież zastrzeżonej technologii USA jest nie do przyjęcia” - napisał Kratsios, nie ujawniając szczegółów swoich źródeł. Wtórował mu sekretarz skarbu Scott Bessent, który twierdził, że „na wielu chińskich modelach znajdujemy znaki wodne naszych amerykańskich dużych modeli językowych” - choć Departament Skarbu nie wyjaśnił, co konkretnie te znaki wodne oznaczają.
Problem w tym, że eksperci nie bardzo widzą, jak miałoby to być możliwe w zakładanym czasie. Jak zauważa Braden Hancock, badacz z Laude Institute i współzałożyciel Snorkel AI w rozmowie z TechCrunch: „Fable jest publicznie dostępny dopiero od 1 lipca. Nie możesz zdestylować tyle danych, wytrenować modelu i wypuścić go w dwa tygodnie”.
„Moim zdaniem destylacja staje się coraz mniej istotna w miarę jak chińskie modele zbliżają się do granicy możliwości, a reżim treningowy przesuwa się w stronę uczenia przez wzmocnienie.”
- Nathan Lambert, badacz z Allen Institute for AI
Lambert dodaje, że destylacja przez supervised fine-tuning to miejsce, gdzie model „uczy się manier” - ale nie daje przewagi w prawdziwych możliwościach. Uzyskanie możliwości na poziomie Fable wymagałoby technik uczenia przez wzmocnienie, a duże przebiegi RL potrzebują dziesiątek milionów agentów - co sprawia, że realizowanie tego przez API zewnętrznego modelu jest praktycznie niewykonalne. Moonshot nie odpowiedział na pytania o proces trenowania.
Zarzuty Kratsiosa pojawiają się w kontekście dyskusji o ewentualnym zakazie chińskich open-weight modeli - i trudno oprzeć się wrażeniu, że część tej narracji ma więcej wspólnego z polityką niż z techniką.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
Podobne tematy na Promptowym
