Cloudflare AI Gateway: Auto Router, limity i koszty API AI

👁 120 przeczytań

AI Gateway to darmowa bramka Cloudflare, przez którą przepuszczasz zapytania do OpenAI, Anthropic, Google czy otwartych modeli i w jednym miejscu widzisz logi, koszty i limity. Od 30 września 2026 ma Auto Router, który sam wybiera tańszy model, gdy zadanie nie wymaga najdroższego - w teście Cloudflare koszt udanego zadania spadł z 0,0210 do 0,0084 USD. Szerzej o całej platformie piszę w przewodniku Cloudflare.

Po co bramka między aplikacją a modelem

Jeśli w firmie albo w aplikacji korzystasz z kilku modeli, szybko pojawiają się te same problemy: rozproszone klucze API, brak wiedzy, kto ile wydaje, i aplikacja, która przestaje działać, gdy jeden dostawca ma awarię. AI Gateway stoi pośrodku i daje:

• logi i analitykę - każde zapytanie, liczba tokenów, koszt, czas odpowiedzi;
• cache - identyczne pytanie nie kosztuje drugi raz;
• limity zapytań i budżety - żeby jeden użytkownik albo zapętlony agent nie przepalił miesięcznego budżetu w nocy;
• fallback - gdy dostawca nie odpowiada, bramka próbuje kolejnego;
• DLP - wykrywanie danych wrażliwych w zapytaniach (w planie Free dwa gotowe profile);
• jeden klucz do wielu dostawców - albo własne klucze (BYOK), albo wspólne rozliczenie przez kredyty Cloudflare.

Ta sama idea stoi za OpenRouterem. Różnica: OpenRouter to przede wszystkim rynek modeli z jednym rachunkiem, a AI Gateway to warstwa kontroli, która działa także z Twoimi własnymi kluczami. O tym, ile naprawdę płacisz przez pośredników, pisałem w tekście cena na OpenRouter to nie cena, którą płacisz.

Auto Router: jak działa i ile oszczędza

Zamiast nazwy modelu podajesz cloudflare/auto. Bramka:

1. wybiera modele, które obsłużą dane zapytanie (format, Twoje klucze, limity wydatków, dostępność dostawcy);
2. przepuszcza ostatnie wiadomości rozmowy przez mały klasyfikator działający na GPU Cloudflare, który przypisuje zadanie do jednej z 14 kategorii (programowanie, planowanie, research, analiza danych i inne) i ocenia je w skali 1-5 pod względem złożoności, niejasności, stawki i zależności od kontekstu;
3. łączy to z wynikami modeli w benchmarkach i z ich cenami - przy prostych zadaniach cena waży więcej, przy trudnych mniej;
4. uwzględnia koszt cache: w długiej sesji zmiana modelu oznacza ponowne wysłanie całego kontekstu, więc router zmienia model tylko wtedy, gdy to się opłaca.

Wyniki z testu Cloudflare

Firma sprawdziła router na wewnętrznym zestawie 97 zadań biurowych (e-mail, kalendarz, Slack, pliki, podróże, finanse), po trzy próby na model:

Jak to czytać: Auto Router kosztuje 35% tego, co Opus, i 80% tego, co GPT-6 Sol, przy skuteczności zbliżonej do Sol i o 10 punktów procentowych niższej niż Opus. Jeśli Twoje zadania są głównie proste (streszczenia, odpowiedzi na maile, klasyfikacja), oszczędność będzie większa. Jeśli wszystkie są trudne, router i tak wybierze drogie modele. To test samego Cloudflare - niezależnych wyników jeszcze nie ma. Sam router jest w becie bezpłatny, płacisz tylko za modele, które wybierze.

Cloudflare zapowiada też cloudflare/auto-best, który z tej samej puli wybiera model o najwyższej oczekiwanej jakości, bez patrzenia na cenę.

Web Search API - wyszukiwanie w bramce

Od 2 października bramka ma wbudowane wyszukiwanie w sieci od trzech partnerów: Ceramic.ai, Exa i Linkup. Wyniki trafiają do kontekstu modelu, a opłaty schodzą z tych samych kredytów co modele, po cenach katalogowych partnerów, bez marży Cloudflare. Ciekawy warunek: roboty partnerów muszą spełniać zasady „Verified bots” Cloudflare, czyli przedstawiać się i respektować robots.txt, a każdy wynik musi zawierać link do źródła. Dla wydawców to dobra wiadomość - wyszukiwanie dla agentów z obowiązkowym linkiem.

Jak podłączyć aplikację - przykład w Pythonie

Bramka ma punkt końcowy zgodny z API OpenAI, więc wystarczy zmienić adres w istniejącym kodzie. Poniższy przykład przygotowałem według dokumentacji Cloudflare z października 2026. Nie uruchomiłem go, bo wymaga konta Cloudflare, identyfikatora konta i tokena API.

from openai import OpenAI

ACCOUNT_ID = "twoj_account_id"      # panel Cloudflare, prawa kolumna
GATEWAY_ID = "default"              # nazwa bramki
CF_TOKEN   = "twoj_token_api"       # token z uprawnieniem do AI Gateway

client = OpenAI(
    api_key=CF_TOKEN,
    base_url=f"https://gateway.ai.cloudflare.com/v1/{ACCOUNT_ID}/{GATEWAY_ID}/compat",
)

odp = client.chat.completions.create(
    model="cloudflare/auto",        # albo np. "openai/...", "anthropic/...", "workers-ai/@cf/..."
    messages=[{"role": "user", "content": "Streść w 3 punktach: czym jest CDN?"}],
)
print(odp.choices[0].message.content)

Co tu się dzieje:

• Nazwy modeli mają format dostawca/model, na przykład workers-ai/@cf/meta/llama-3.3-70b-instruct-fp8-fast.
• Uwierzytelnianie: jeśli płacisz przez kredyty Cloudflare albo klucze trzymasz w bramce, wystarczy token Cloudflare. Jeśli wolisz podawać klucz dostawcy w kodzie, wpisz go jako api_key, a token Cloudflare dodaj w nagłówku cf-aig-authorization.
• Bez zmian w logice aplikacji - format odpowiedzi jest taki sam jak w OpenAI.

Jeśli dopiero zaczynasz z API, najpierw przeczytaj, czym są tokeny i jak się je liczy - od tego zależy cały rachunek.

Ile to kosztuje naprawdę

Dla kogo ma to sens: dla zespołu, który wydaje na API co najmniej kilkaset dolarów miesięcznie i chce wiedzieć, kto i na co. Dla jednej osoby testującej modele po godzinach wystarczy jeden klucz i limit wydatków u dostawcy.

Na co uważać

• Dane idą przez kolejną firmę. Bramka widzi treść zapytań. Cloudflare zapowiada filtrowanie dostawców bez przechowywania danych (ZDR), ale w Auto Routerze to dopiero plan.
• Router to czarna skrzynka z Twojej perspektywy. W logach zobaczysz wybrany model i kategorię zadania, ale nie wpłyniesz na ranking modeli.
• Płacenie za modele protokołem x402 (bez kredytów, w momencie zapytania) jest na start dostępne tylko dla klientów z USA.

Źródła

• Cloudflare - Auto Router (30.09.2026)
• Cloudflare - Web Search API (2.10.2026)
• Cloudflare - cennik AI Gateway
• Cloudflare - punkt końcowy zgodny z OpenAI
• Cloudflare - Monetization Gateway i x402 (30.09.2026)