Inżynierowie Amazona destylują modele Anthropic, by ciąć koszty przed nową taryfą za tokeny

👁 132 przeczytań

Część inżynierów Amazona destyluje modele Anthropic, by zbudować mniejsze i tańsze wersje na własny, wewnętrzny użytek - donosi The Information. Powód jest prozaiczny: obawa przed rosnącymi rachunkami, gdy w przyszłym roku zmieni się sposób rozliczania z Anthropic.

Destylacja polega na tym, że mniejszy model uczy się na wynikach generowanych przez model większy. Według osoby zaznajomionej ze sprawą Amazon ma określone prawa do wykorzystania modeli Anthropic w tym celu - na zasadzie podobnej do porozumienia Apple z Google Gemini. Co ciekawe, sam Amazon oferuje usługę destylacji na platformie Bedrock, ale modele Claude nie są tam dostępne - obsługiwane są tylko własne modele Nova oraz Llama od Meta.

Spór o nowy cennik

Cała sprawa wiąże się z renegocjacją partnerstwa. Od przyszłego roku Amazon ma płacić za modele Anthropic na podstawie liczby przetworzonych tokenów, a nie godzin obliczeniowych. To zmiana, która - jak sugeruje The Information - może gwałtownie podnieść koszty. Rzecznik Amazona zaprzecza i twierdzi, że zmiany wynikające z rozszerzonego partnerstwa rachunków nie podniosą. Anthropic z kolei wskazuje na niskie ceny w stosunku do wydajności, jaką oferują jego modele.

Skala zaangażowania finansowego robi wrażenie. W tym roku Amazon zainwestował dodatkowo do 25 miliardów dolarów w Anthropic i do 50 miliardów dolarów w OpenAI. Jednocześnie firma rozgląda się za alternatywami - oprócz OpenAI w grę wchodzą jej własne modele Nova.

Co to mówi o rynku AI

Sytuacja jest paradoksalna: jeden z największych inwestorów Anthropic szuka sposobu, żeby płacić mu mniej, a przy okazji kopiuje zdolności jego modeli do tańszych wersji. To dobrze pokazuje, gdzie naprawdę leży napięcie w dzisiejszym biznesie AI. Nie chodzi już o to, czy model jest dobry, tylko o to, ile kosztuje uruchomienie go w skali milionów zapytań dziennie.

Przejście z rozliczania za godziny obliczeniowe na rozliczanie za tokeny to sygnał dojrzewania rynku. Dostawcy modeli chcą zarabiać proporcjonalnie do faktycznego zużycia, a nie do udostępnionej mocy. Dla wielkiego klienta, który puszcza przez model gigantyczne wolumeny tekstu, taka zmiana potrafi oznaczać różnicę liczona w setkach milionów dolarów rocznie. Stąd skok ku destylacji - jeśli mniejszy model wystarcza do większości wewnętrznych zadań, po co płacić za pełnowymiarowego Claude'a.

Dla polskiego czytelnika to nie tylko ciekawostka korporacyjna. Te same mechanizmy zaczynają dotyczyć każdego, kto buduje produkt na cudzym modelu. Jeśli nawet Amazon - z miliardowymi udziałami w Anthropic - kalkuluje, czy nie taniej zrobić własną destylowaną wersję, to mniejsze firmy tym bardziej będą szukać sposobów na uniezależnienie się od zewnętrznego cennika. Destylacja, modele otwarte i własne lekkie warianty stają się standardowym narzędziem optymalizacji kosztów, a nie egzotyką.

Warto pamiętać, że to wciąż doniesienie The Information, a Amazon je dementuje. Ale sam kierunek - od mocy obliczeniowej do tokenów, od pełnych modeli do destylowanych miniatur - jest na rynku coraz wyraźniejszy.