Inżynierowie Amazona destylują modele Anthropic, by ciąć koszty przed nową taryfą za tokeny
Według The Information część inżynierów Amazona buduje tańsze, mniejsze kopie modeli Anthropic w obawie przed rozliczaniem opartym na tokenach, które wejdzie w życie w przyszłym roku.
👁 155 przeczytań
Część inżynierów Amazona destyluje modele Anthropic, by zbudować mniejsze i tańsze wersje na własny, wewnętrzny użytek - donosi The Information. Powód jest prozaiczny: obawa przed rosnącymi rachunkami, gdy w przyszłym roku zmieni się sposób rozliczania z Anthropic.
Destylacja polega na tym, że mniejszy model uczy się na wynikach generowanych przez model większy. Według osoby zaznajomionej ze sprawą Amazon ma określone prawa do wykorzystania modeli Anthropic w tym celu - na zasadzie podobnej do porozumienia Apple z Google Gemini. Co ciekawe, sam Amazon oferuje usługę destylacji na platformie Bedrock, ale modele Claude nie są tam dostępne - obsługiwane są tylko własne modele Nova oraz Llama od Meta.
Spór o nowy cennik
Cała sprawa wiąże się z renegocjacją partnerstwa. Od przyszłego roku Amazon ma płacić za modele Anthropic na podstawie liczby przetworzonych tokenów, a nie godzin obliczeniowych. To zmiana, która - jak sugeruje The Information - może gwałtownie podnieść koszty. Rzecznik Amazona zaprzecza i twierdzi, że zmiany wynikające z rozszerzonego partnerstwa rachunków nie podniosą. Anthropic z kolei wskazuje na niskie ceny w stosunku do wydajności, jaką oferują jego modele.
Skala zaangażowania finansowego robi wrażenie. W tym roku Amazon zainwestował dodatkowo do 25 miliardów dolarów w Anthropic i do 50 miliardów dolarów w OpenAI. Jednocześnie firma rozgląda się za alternatywami - oprócz OpenAI w grę wchodzą jej własne modele Nova.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Co to mówi o rynku AI
Nie przepłacaj za te subskrypcje
Prowadzę sklep z rocznymi dostępami do narzędzi AI - te same konta, o których piszę wyżej, tylko taniej niż w cenniku producenta.
Sytuacja jest paradoksalna: jeden z największych inwestorów Anthropic szuka sposobu, żeby płacić mu mniej, a przy okazji kopiuje zdolności jego modeli do tańszych wersji. To dobrze pokazuje, gdzie naprawdę leży napięcie w dzisiejszym biznesie AI. Nie chodzi już o to, czy model jest dobry, tylko o to, ile kosztuje uruchomienie go w skali milionów zapytań dziennie.
Przejście z rozliczania za godziny obliczeniowe na rozliczanie za tokeny to sygnał dojrzewania rynku. Dostawcy modeli chcą zarabiać proporcjonalnie do faktycznego zużycia, a nie do udostępnionej mocy. Dla wielkiego klienta, który puszcza przez model gigantyczne wolumeny tekstu, taka zmiana potrafi oznaczać różnicę liczona w setkach milionów dolarów rocznie. Stąd skok ku destylacji - jeśli mniejszy model wystarcza do większości wewnętrznych zadań, po co płacić za pełnowymiarowego Claude’a.
Dla polskiego czytelnika to nie tylko ciekawostka korporacyjna. Te same mechanizmy zaczynają dotyczyć każdego, kto buduje produkt na cudzym modelu. Jeśli nawet Amazon - z miliardowymi udziałami w Anthropic - kalkuluje, czy nie taniej zrobić własną destylowaną wersję, to mniejsze firmy tym bardziej będą szukać sposobów na uniezależnienie się od zewnętrznego cennika. Destylacja, modele otwarte i własne lekkie warianty stają się standardowym narzędziem optymalizacji kosztów, a nie egzotyką.
Warto pamiętać, że to wciąż doniesienie The Information, a Amazon je dementuje. Ale sam kierunek - od mocy obliczeniowej do tokenów, od pełnych modeli do destylowanych miniatur - jest na rynku coraz wyraźniejszy.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →
Podobne tematy na Promptowym
