Computer Use (KI-Computerbedienung)
Computer Use bezeichnet die Fähigkeit einer KI, Bildschirminhalte visuell zu erfassen und Computerprogramme wie ein menschlicher Nutzer per Maus und Tastatur zu steuern.
Computer Use bezeichnet die Fähigkeit moderner KI-Systeme, einen Computer auf dieselbe Art und Weise zu bedienen wie ein Mensch. Anstatt Befehle über strukturierte Programmierschnittstellen (APIs) im Hintergrund auszuführen, betrachtet das System den Bildschirm, erkennt Schaltflächen, scrollt durch Dokumente, bewegt den virtuellen Mauszeiger und tippt Text in Eingabefelder ein.
Dieser Ansatz markiert einen entscheidenden Entwicklungsschritt für autonome KI-Agenten: Software muss nicht mehr aufwendig für eine KI angepasst werden. Das System passt sich stattdessen an die bereits bestehende Benutzeroberfläche an, die ursprünglich ausschließlich für menschliche Augen und Hände entworfen wurde.
Wie Computer Use in der Praxis funktioniert
Das Grundprinzip von Computer Use basiert auf einer kontinuierlichen Schleife aus Wahrnehmung, Planung und Aktion. Das multimodale Modell verarbeitet dazu nicht den internen Programmcode einer Software, sondern Screenshots der aktuellen Anzeige:
- Visuelle Analyse: Die KI nimmt ein Bild des aktuellen Desktops auf und erkennt grafische Elemente wie Menüleisten, Textfelder, Schaltflächen oder Dropdown-Menüs.
- Koordinatenberechnung: Anhand der visuellen Erkennung bestimmt das Modell die exakten Pixelkoordinaten, an denen eine Interaktion erforderlich ist.
- Aktionsausführung: Das System sendet Anweisungen an das Betriebssystem, etwa einen Klick mit der linken Maustaste auf bestimmte Koordinaten, das Drücken der Eingabetaste oder das Einfügen von Zeichenfolgen.
- Rückkopplung: Nach jeder Aktion erstellt die KI einen neuen Screenshot, um zu überprüfen, ob sich das Fenster wie erwartet geöffnet hat oder ob eine Fehlermeldung aufgetreten ist.
Der entscheidende Vorteil: Unabhängigkeit von APIs
In vielen Unternehmen in Deutschland, Österreich und der Schweiz existiert eine Vielzahl von Fachanwendungen, für die es keine modernen Schnittstellen gibt. Das gilt besonders für etablierte Branchensoftware, lokale Warenwirtschaftssysteme oder Webportale von Behörden, die keine Programmierschnittstellen anbieten.
Klassische Automatisierungen scheitern hier oft, weil jede Schnittstelle teuer programmiert und gepflegt werden muss. Computer Use überwindet diese Hürde. Da die KI die grafische Oberfläche verwendet, kann sie theoretisch jedes Programm steuern, das auf einem herkömmlichen PC läuft, von der uralten Lagerhaltungssoftware bis zum modernen Browser-Tool.
Praxisbeispiel: Der Handwerksbetrieb im DACH-Raum
Ein typisches Einsatzfeld findet sich in einem mittelständischen Installationsbetrieb für Sanitär- und Heizungstechnik in Augsburg oder Salzburg. Der Betrieb erhält Lieferscheine von verschiedenen Großhändlern per E-Mail als PDF-Dokumente. Die Artikelnummern und Einkaufspreise müssen manuell in eine historisch gewachsene Branchensoftware übertragen werden, die seit vielen Jahren lokal auf einem Windows-PC läuft.
Ein mit Computer Use ausgestatteter Assistent übernimmt diese Routineaufgabe eigenständig: Er öffnet das E-Mail-Programm, lädt die PDF-Datei herunter, öffnet die lokale Handwerkersoftware und klickt sich durch das Menü zur Bestandsverwaltung. Zeile für Zeile kopiert der Assistent die Artikeldaten aus der PDF-Vorschau in die entsprechenden Masken des Verwaltungsprogramms, drückt auf Speichern und schließt die Fenster wieder. Menschliche Mitarbeiter werden von dieser zeitraubenden Doppelarbeit entlastet und können sich um die Montageplanung kümmern.
Grenzen und typische Missverständnisse
Obwohl Computer Use eine enorme Flexibilität bietet, ist die Technik noch anfällig für unerwartete Störungen. Ein häufiger Denkfehler besteht in der Annahme, die KI verstehe den PC auf Betriebssystemebene. Das ist nicht der Fall: Die KI reagiert ausschließlich auf das visuelle Feedback. Wenn sich ein unerwartetes Werbe-Pop-up öffnet, ein Ladebalken die Anzeige verzögert oder zwei Schaltflächen optisch kaum unterscheidbar sind, kann das System hängenbleiben oder Fehlklicks ausführen.
Hinzu kommen Sicherheitsaspekte: Ein KI-Agent mit Zugriff auf Maus und Tastatur verfügt über weitreichende Befugnisse. Er könnte versehentlich Dateien löschen oder sensible Daten in falsche Formulare übertragen. Aus diesem Grund wird Computer Use derzeit vor allem in isolierten Arbeitsumgebungen und für klar begrenzte, überwachte Arbeitsabläufe erprobt.
Häufig gestellte Fragen
Was unterscheidet Computer Use von Robotic Process Automation (RPA)?
Klassisches RPA folgt starr programmierten Regeln und bricht oft ab, wenn sich ein Layout geringfügig ändert. Computer Use nutzt multimodale KI, um Elemente optisch zu verstehen, und kann sich flexibel an veränderte Oberflächen anpassen.
Kann Computer Use jedes Betriebssystem bedienen?
Im Prinzip ja. Da das Modell lediglich Screenshots empfängt und Eingabebefehle für Maus und Tastatur zurückgibt, ist die Methode unabhängig vom Betriebssystem, sofern die entsprechende Schnittstelle für Steuerungsbefehle vorhanden ist.
Welche Risiken birgt Computer Use?
Die größten Risiken sind Fehlklicks bei unerwarteten Bildschirmänderungen sowie Sicherheitsbedrohungen durch sogenannte Prompt Injections, wenn die KI auf manipulierten Webseiten Anweisungen liest, die sie unbedacht als Klickbefehle ausführt.
