Przejdź do treści
promptowy.com / AI-begrippenlijst / Computer use (AI)
Agents en tools

Computer use (AI)

Computer use is de vaardigheid van AI om een computer te besturen zoals een mens: door naar het scherm te kijken, te klikken en tekst in te typen.

Computer use is een technologie waarbij een AI-model zelfstandig een computerinterface kan bedienen op dezelfde manier als een menselijke gebruiker. In plaats van te communiceren via afgeschermde codekoppelingen op de achtergrond, kijkt het model rechtstreeks naar schermafbeeldingen, herkent het visuele elementen zoals knoppen en invoervelden, en stuurt het virtuele muisklikken en toetsaanslagen aan.

Met deze aanpak verandert een AI van een passieve tekstgenerator in een volwaardige software-operator. Het model kan hierdoor door webbrowsers navigeren, spreadsheets invullen, oude desktopapplicaties bedienen en taken uitvoeren in programma's die nooit zijn ontworpen om met kunstmatige intelligentie te praten.

Hoe werkt computer use onder de motorkap?

Traditionele software-integraties vertrouwen op API's (Application Programming Interfaces). Wanneer een systeem geen API aanbiedt, stopt de automatisering meestal direct. Computer use omzeilt deze drempel volledig door de menselijke interactielaag te gebruiken. Dit proces verloopt in een continue cyclus:

  • Kijken: Het model ontvangt regelmatig een schermafbeelding van het bureaublad en analyseert met computervisie waar vensters, knoppen, menu's en tekstvelden zich bevinden.
  • Plannen: De AI vertaalt de opdracht van de gebruiker (bijvoorbeeld: 'zoek het openstaande factuurbedrag op') naar een logische reeks handelingen.
  • Handelen: Het systeem berekent de exacte schermcoördinaten en stuurt opdrachten door naar het besturingssysteem, zoals het bewegen van de muiscursor, een linkermuisklik of het typen van specifieke zoektermen.
  • Verifiëren: Na elke actie neemt de software opnieuw een screenshot om te controleren of het gewenste venster daadwerkelijk is geopend of dat er een foutmelding verscheen.

Een praktijkvoorbeeld: administratie in het mkb

Stel je een familiebedrijf voor in de regio Utrecht of een klein logistiek kantoor in de haven van Antwerpen. Het bedrijf gebruikt al jaren een lokaal installatieprogramma voor voorraadbeheer uit het begin van deze eeuw. Deze software heeft geen moderne cloudkoppeling en synchroniseert niet automatisch met de webwinkel.

Met computer use kan een AI-assistent de ochtendroutine van de planner overnemen. De AI start de oude computerapplicatie op, typt de inloggegevens in, navigeert via het grijze menupad naar de exportfunctie en downloadt het overzicht. Vervolgens opent de AI een browser, logt in op het online dashboard van de bezorgdienst, en voert daar handmatig order voor order de afleveradressen in. Waar voorheen een werknemer anderhalf uur lang saaie gegevens overklopte, voert het model deze reeks muisklikken en toetscombinaties nu zelfstandig uit.

Het verschil met klassieke RPA

Op het eerste gezicht lijkt computer use sterk op klassieke RPA (Robotic Process Automation), een technologie die veel banken en verzekeraars in steden als Amsterdam en Brussel al jaren gebruiken. Toch is er een fundamenteel verschil. Traditionele RPA-scripts zijn star: verschuift een knop drie pixels naar links door een software-update, of verschijnt er een onverwachte pop-up over cookie-instellingen, dan crasht het script onmiddellijk.

AI met computer use begrijpt daarentegen de visuele context via multimodale taalmodellen. Als een knop verandert van kleur, een andere tekst krijgt of op een andere plek op het scherm staat, begrijpt de AI nog steeds wat de functie van die knop is. Het model kan improviseren bij kleine lay-outwijzigingen en lost onverwachte meldingen vaak zelfstandig op.

Valkuilen en kinderziektes

Hoewel het concept indrukwekkend is, bevindt de technologie zich nog in een vroege fase. Het besturen van een interface via screenshots kost aanzienlijk meer rekenkracht en tijd dan een directe gegevensuitwisseling via code. Een handeling die via een directe databasequery een fractie van een seconde duurt, kan via muisklikken meerdere seconden tot zelfs minuten in beslag nemen.

Een veelgemaakte fout is het blind toevertrouwen van gevoelige taken aan een dergelijk model. Omdat de AI letterlijk controle heeft over muis en toetsenbord, kan een verkeerde interpretatie leiden tot het per ongeluk verwijderen van bestanden of het verzenden van onvolledige formulieren. Ook kan een model vastlopen in oneindige scrolbewegingen op complexe, dynamische websites. Voorlopig functioneert computer use daarom het best met menselijk toezicht, waarbij de gebruiker op de spatiebalk kan drukken zodra het model aarzelt of een verkeerde knop kiest.

Veelgestelde vragen

Wat is het belangrijkste verschil tussen een API en computer use?

Een API wisselt direct gestructureerde data uit tussen twee systemen via code op de achtergrond. Computer use bestuurt de software visueel aan de voorkant door net als een mens naar het beeldscherm te kijken, te klikken en te typen.

Kan computer use elk computerprogramma bedienen?

In theorie wel. Zolang een programma zichtbaar is op een beeldscherm en reageert op invoer van een muis en toetsenbord, kan het model de interface interpreteren en gebruiken, ongeacht hoe oud de software is.

Is computer use veilig om te gebruiken op mijn eigen computer?

Het brengt risico's met zich mee, omdat het model handelingen uitvoert met jouw gebruikersrechten. Het is verstandig om de AI te laten werken binnen een afgesloten virtuele omgeving en altijd menselijke goedkeuring te vereisen voor definitieve acties zoals betalingen of het wissen van bestanden.

← Alle termen in de AI-begrippenlijst

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›