Słownik AI / Inference
⚙️ Technika
Inference
Moment, w którym model generuje odpowiedź na Twoje zapytanie (w odróżnieniu od treningu).
Inference (wnioskowanie) to faza, w której wytrenowany model jest używany: dostaje twoje zapytanie i generuje odpowiedź, token po tokenie. To odróżnia codzienną pracę modelu od treningu, który odbył się raz, wcześniej, na ogromnych danych.
Koszty działania usług AI to głównie koszty inference - dlatego dostawcy optymalizują je kwantyzacją, lepszym sprzętem i architekturami typu MoE. Gdy czat „pisze” odpowiedź na żywo, obserwujesz inference w czasie rzeczywistym, zwykle w wariancie streamingowym.
Pojęcia powiązane