ByteDance trenuje model AI z 10 bilionami parametrów, celując w Anthropic
ByteDance szkoli model językowy z nawet 10 bilionami parametrów - trzykrotnie większy od największego dotychczas opublikowanego chińskiego modelu.
👁 135 przeczytań
ByteDance jest na wczesnym etapie trenowania modelu z nawet 10 bilionami parametrów - tyle wynika z informacji trzech osób znających sprawę, do których dotarł Ars Technica. To trzykrotnie więcej niż Kimi K3 od Moonshot, dotychczas największy opublikowany chiński model.
Dla porównania: branżowe szacunki mówią, że Mythos 5 od Anthropic - najbardziej zaawansowany model tej firmy, dostępny tylko dla zatwierdzonych organizacji - ma około 8 bilionów parametrów, a Fable 5 około 5 bilionów. Aktualny etap pre-trenowania trwa zwykle od trzech do sześciu miesięcy, a dokładna liczba parametrów zostanie ustalona dopiero później.
Za modele odpowiada zespół Seed, liczący około 2000 osób i prowadzony przez byłego naukowca Google DeepMind Wu Yonghui. ByteDance od ponad roku celowo unika destylacji z modeli innych laboratoriów - podejście, które założyciel Zhang Yiming potwierdził na wewnętrznym spotkaniu dwa tygodnie temu, wzywając zespół do dążenia do „wiodących na świecie możliwości modelu” bez skupiania się na krótkoterminowych wynikach.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
Podobne tematy na Promptowym
