Przejdź do treści
promptowy.com / Yapay Zeka Sözlüğü / Computer Use (Yapay Zeka Bilgisayar Kullanımı)
Ajanlar ve araçlar

Computer Use (Yapay Zeka Bilgisayar Kullanımı)

Computer use, yapay zekanın ekrana bakarak fare ve klavye hareketleriyle bilgisayarı tıpkı bir insan gibi doğrudan kontrol etmesini sağlayan yetenektir.

Computer use (bilgisayar kullanımı), bir yapay zeka modelinin ekrandaki pikselleri analiz ederek fare imlecini hareket ettirme, butonlara tıklama, sayfalarda gezinme ve klavyeyle metin yazma gibi eylemleri insan gibi gerçekleştirebilmesidir. Kullanıcı bir komut verdiğinde, yapay zeka sadece bir metin çıktısı üretmekle kalmaz; işletim sisteminde ya da tarayıcıda ilgili pencereleri açar, formları doldurur ve görevi doğrudan tamamlar.

Geleneksel yapay zeka entegrasyonları, yazılımların arka planındaki veri köprülerine yani API sistemlerine ihtiyaç duyar. Ancak Computer Use teknolojisi bu zorunluluğu ortadan kaldırır. Model, önünde duran görsel arayüzü tıpkı bir insan kullanıcı gibi algılar. Bu sayede API desteği olmayan eski masaüstü yazılımları, devlet portalları ya da kapalı devre şirket içi paneller bile yapay zeka tarafından doğrudan yönetilebilir hale gelir.

Computer Use Nasıl Çalışır?

Bu sistemin temelinde gelişmiş görme yeteneği ve eylem döngüsü yer alır. Yapay zeka bilgisayarı şu adımları sürekli tekrarlayarak kontrol eder:

  • Ekran görüntüsü alma: Model, masaüstünün veya aktif uygulamanın anlık görüntüsünü yakalar.
  • Görsel analiz: Alınan görüntü pikseller bazında taranır; butonlar, metin kutuları, onay işaretleri ve menülerin tam koordinatları hesaplanır.
  • Eylem planlama: Hedefe ulaşmak için bir sonraki mantıksal adım seçilir; örneğin Dosya menüsüne tıklamak veya arama çubuğuna kelime yazmak.
  • Komut gönderme: Model, işletim sistemine sanal fare tıklaması veya klavye vuruşu sinyali yollar.
  • Doğrulama: Yapılan işlemden sonra yeni bir ekran görüntüsü alınır ve hedeflenen değişimin gerçekleşip gerçekleşmediği kontrol edilir.

Yerel Bir Örnek: Esnafın Stok ve Fatura Yönetimi

İstanbul Karaköy'de hırdavat ve elektrik malzemeleri toptancılığı yapan bir işletmeyi düşünelim. İşletme sahibi, yıllar önce yazılmış ve hiçbir modern bulut bağlantısı olmayan eski bir masaüstü muhasebe programı kullanıyor olsun. Her akşam gelen e-postalardaki irsaliye bilgilerini bu programa tek tek girmek işletme sahibinin saatlerini almaktadır.

Computer Use yeteneğine sahip bir yapay zeka asistanı, gelen e-postadaki sipariş detaylarını okuyabilir. Ardından işletim sisteminde kayıtlı olan eski muhasebe programının simgesini bulup çift tıklar, kullanıcı adı ve şifre kutucuklarını tespit edip giriş yapar, 'Yeni Fatura' butonuna basar ve ilgili ürün kodları ile adetlerini klavye simülasyonuyla kutucuklara yazar. Son olarak kaydet butonuna tıklayarak işlemi tamamlar. İşletmenin hiçbir yazılım altyapısını değiştirmesine veya pahalı entegrasyonlar satın almasına gerek kalmaz.

Geleneksel Otomasyonlardan Farkı Nedir?

Yıllardır kullanılan klasik ekran otomasyonları (RPA sistemleri), genellikle çok katı kurallara bağlıdır. Örneğin bir web sitesi güncellendiğinde veya butonun yeri beş piksel sağa kaydığında klasik betikler çöker ve hata verir. Computer Use teknolojisinde ise yapay zeka ekrandaki değişimi kavrayabilir. Butonun rengi, boyutu veya yeri değişse bile üzerindeki yazıyı ya da simgeyi bağlamdan anlayarak doğru yere tıklamaya devam eder. Bu esneklik, değişken arayüzlerde çalışmayı mümkün kılar.

Karşılaşılan Zorluklar ve Güvenlik Riskleri

Bu teknoloji henüz gelişiminin ilk aşamalarındadır ve kusursuz değildir. Karmaşık, çok fazla açılır pencere içeren veya görsel olarak kalabalık web sitelerinde modelin yanlış bir butona tıklaması ya da bir döngüde takılı kalması mümkündür. Ayrıca insan hızına kıyasla ekran görüntülerini işleyip karar vermek bazen daha yavaş kalabilir.

En kritik konu ise güvenliktir. Bilgisayar kontrolünü yapay zekaya teslim etmek, onun arka planda istenmeyen işlemleri yapabilme riskini de doğurur. Örneğin web üzerinde gezinirken ekrana gelen kötü niyetli bir reklam veya sahte uyarı penceresi, yapay zekayı yanıltarak hassas bir veriyi onaylamasına yol açabilir. Bu nedenle Computer Use sistemleri çalışırken, özellikle kritik onay adımlarında insanın denetimi elden bırakmaması önerilir.

Sıkça sorulan sorular

Computer use için özel bir yazılım kurmak gerekir mi?

Genellikle yapay zekanın ekrana erişmesini ve işletim sistemine fare ile klavye komutları göndermesini sağlayan güvenli bir köprü yazılım veya sanal masaüstü ortamı gerekir.

Yapay zeka benim yerime bankacılık işlemi yapabilir mi?

Teknik olarak web tarayıcısını açıp giriş yapabilse de, iki adımlı doğrulama kodları ve güvenlik riskleri nedeniyle finansal işlemlerde tam yetki verilmesi önerilmez.

Computer use teknolojisi API ihtiyacını tamamen bitirir mi?

Hayır. Doğrudan API bağlantıları çok daha hızlı, ucuz ve hatasızdır; Computer Use daha çok API desteği olmayan eski veya kapalı sistemlerde kurtarıcı bir çözüm sunar.

← Yapay Zeka Sözlüğündeki tüm terimler

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›