Inferenz (Inference)
Inferenz bezeichnet die Ausführung eines fertig trainierten KI-Modells, das auf Basis neuer Eingaben konkrete Antworten oder Vorhersagen berechnet.
Inferenz bezeichnet in der Künstlichen Intelligenz den Moment, in dem ein fertig trainiertes Modell aktiv genutzt wird. Wenn Sie einer Sprach-KI eine Frage stellen oder eine Bilderkennung starten, lernt das System nicht mehr von Grund auf neu. Stattdessen wendet es das vorhandene, mathematisch gespeicherte Wissen an, um Schritt für Schritt eine passende Ausgabe zu ermitteln.
Während des Trainings erwirbt ein Modell seine Fähigkeiten anhand gigantischer Datenmengen, was enorm viel Rechenleistung beansprucht, aber meist nur einmal geschieht. Die Inferenz ist dagegen der fortlaufende Alltagsbetrieb: Sie schicken eine Eingabe (einen Prompt), und das System generiert das Ergebnis, bei Textmodellen meist Wortteil für Wortteil, sogenannte Token.
Der Unterschied zwischen Training und Inferenz
Um die Funktionsweise von KI-Systemen zu verstehen, ist die Trennung dieser zwei Phasen grundlegend:
- Training: Das Modell analysiert zahllose Texte oder Bilder, passt Milliarden von internen Parametern an und bildet logische Zusammenhänge ab. Dieser Prozess findet vor der Veröffentlichung im Rechenzentrum statt.
- Inferenz: Die Parameter des Modells sind eingefroren. Das Modell verarbeitet eine konkrete Anfrage, durchläuft das bestehende Netzwerk und spuckt ein Resultat aus, ohne seine eigene Grundstruktur zu verändern.
So funktioniert Inferenz in Echtzeit
Wenn Sie in einer Benutzeroberfläche zusehen, wie die KI eine Antwort Buchstabe für Buchstabe auf den Bildschirm tippt, erleben Sie die Inferenz live. Man spricht hierbei vom sogenannten Streaming. Technisch gesehen berechnet das neuronale Netzwerk für jede Textposition eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Token. Es wählt das wahrscheinlichste oder passendste Token aus, hängt es an den Text an und nutzt diese neue Kombination direkt als Eingabe für die Berechnung des nächsten Schritts.
Dieser Kreislauf wiederholt sich, bis ein Stopp-Signal erreicht ist. Da jede Berechnung viele mathematische Matrixoperationen erfordert, benötigt jede einzelne Antwort spürbare Serverressourcen.
Ein praktisches Beispiel aus dem Betriebsalltag
Betrachten wir ein mittelständisches Sanitärunternehmen aus Linz oder einen Schreinerbetrieb im Schwarzwald. Der Betrieb setzt einen automatisierten E-Mail-Assistenten ein, um Kundenanfragen zu sortieren. Wenn ein Kunde schreibt: „Unsere Heizung im Mehrfamilienhaus in Zürich tropft, bitte um dringenden Rückruf“, greift die Inferenz.
Das Sprachmodell liest diesen Text, analysiert die Dringlichkeit und klassifiziert die Nachricht innerhalb von Bruchteilen einer Sekunde als Notfall. Das Modell lernt dabei nicht, wie eine Heizung grundlegend repariert wird; es nutzt seine bereits trainierte Sprachkompetenz, um die konkrete E-Mail auszuwerten. Genau dieser Sekundenbruchteil der Auswertung ist die Inferenzphase.
Warum Inferenz die eigentlichen Betriebskosten bestimmt
Während die Entwicklung und das Training eines Basismodells Millionen an Einmalkosten verschlingen, entstehen die laufenden Kosten für Unternehmen fast ausschließlich bei der Inferenz. Jede Abfrage verbraucht Strom, belegt Speicherplatz und beansprucht Grafikprozessoren (GPUs) oder spezielle Beschleunigerchips.
Damit KI im Alltag bezahlbar und schnell bleibt, setzen Entwickler auf verschiedene Optimierungen:
- Quantisierung: Die mathematische Genauigkeit der Gewichte wird reduziert, wodurch das Modell weniger Speicher braucht und Berechnungen schneller durchführt, ohne merklich an Qualität einzubüßen.
- Spezialisierte Architekturen: Bei Modellen mit geteilten Expertennetzwerken (Mixture of Experts) wird für eine Antwort nicht das gesamte Modell aktiviert, sondern nur die für das Thema relevanten Teilbereiche.
- Effiziente Hardware: Rechenzentren setzen Prozessoren ein, die gezielt auf das schnelle Ausführen von Matrixberechnungen statt auf das Training ausgelegt sind.
Typischer Denkfehler: Inferenz ist kein neues Lernen
Ein weit verbreiteter Irrtum besteht in der Annahme, die KI würde während der Inferenz klüger werden oder die Angaben des Nutzers dauerhaft im eigenen Gedächtnis abspeichern. Das ist nicht der Fall. Das Modell reflektiert den Inhalt nur innerhalb des aktuellen Dialogfensters (Kontextfenster). Sobald der Server die Inferenz beendet und das Chatfenster geschlossen wird, vergisst das Modell die spezifische Sitzung wieder. Das Modell passt seine fest verdrahteten Gewichte im laufenden Betrieb nicht an.
Häufig gestellte Fragen
Was ist der Unterschied zwischen Training und Inferenz?
Beim Training lernt die KI anhand von Datenmustern und optimiert ihre Parameter. Bei der Inferenz wendet sie dieses bereits gelernte Wissen an, um konkrete Aufgaben oder Prompts neuer Nutzer auszuführen.
Warum dauert die Inferenz bei manchen Anfragen länger?
Die Dauer hängt von der Länge der Eingabe, der Komplexität der geforderten Antwort, der Auslastung der Server und der Rechenleistung der eingesetzten Hardware ab.
Lernt das KI-Modell während der Inferenz dazu?
Nein, während der Inferenz sind die internen Parameter fixiert. Die KI verarbeitet nur den aktuellen Text im vorgegebenen Kontext, modifiziert aber nicht ihr dauerhaftes Wissen.
Warum ist Inferenz für KI-Anbieter so teuer?
Jede einzelne Antwort erfordert komplexe mathematische Berechnungen auf teuren Grafikkarten und verbraucht Strom. Da täglich Millionen Anfragen verarbeitet werden, übersteigen die Betriebskosten der Inferenz oft die Trainingskosten.
