Przejdź do treści
promptowy.com / Yapay Zeka Sözlüğü / MoE (Mixture of Experts - Uzmanlar Karışımı)
Modeller ve eğitim

MoE (Mixture of Experts - Uzmanlar Karışımı)

MoE, büyük bir yapay zeka modelinin tüm parametreleri yerine sadece ilgili konudaki uzman alt ağları çalıştırarak hızlı yanıt vermesini sağlayan bir mimaridir.

MoE (Mixture of Experts), devasa büyüklükteki yapay zeka modellerinin her soruya tüm kapasitesiyle yanıt vermek yerine, görevi yalnızca ilgili konudaki alt uzman ağlara yönlendirdiği akıllı bir model mimarisidir. Türkçe karşılığıyla Uzmanlar Karışımı olarak bilinen bu yaklaşım, modelin toplam parametre sayısı yüz milyarları bulsa bile işlem anında sadece küçük bir parçayı aktif hale getirir.

Geleneksel yoğun (dense) modellerde bir kelime tahmin edilirken veya tek bir cümle çevrilirken sistemdeki bütün sinir ağları aynı anda çalışır. MoE yapısında ise bir yönlendirici mekanizma (router) bulunur. Bu yönlendirici, kullanıcıdan gelen girdiyi inceler ve bu görevi en iyi çözebilecek bir ya da iki uzman ağı seçerek hesaplamayı yalnızca onlar üzerinden tamamlar. Böylece devasa bir hafıza ve yetenek havuzu, çok daha az enerji ve donanım gücü harcanarak kullanılabilir hale gelir.

MoE Nasıl Çalışır: Yönlendirici ve Uzman Ağlar

Bir MoE sisteminin temelinde iki ana bileşen yer alır: uzman alt ağlar ve kapı (gating) ağı yani yönlendirici. Model eğitilirken bu uzmanların her biri belirli veri desenlerinde, dillerde, matematiksel mantıkta ya da kodlama yapılarında uzmanlaşır. Kullanıcı bir komut girdiğinde yönlendirici devreye girer ve girdinin niteliğini tartar.

Süreç adım adım şu şekilde ilerler:

  • Girdi analizi: Kullanıcının yazdığı metin vektörlere dönüştürülür ve yönlendirici ağa iletilir.
  • Uzman seçimi: Kapı mekanizması, mevcut onlarca uzman arasından bu soruya en uygun olan bir veya iki uzmanı belirler.
  • Kısmi hesaplama: Yalnızca seçilen uzman ağların parametreleri aktifleşir, diğer uzmanlar uykuda kalır.
  • Çıktı birleştirme: Seçilen uzmanlardan gelen sonuçlar harmanlanarak kullanıcıya akıcı bir yanıt olarak sunulur.

Türkiye'den Günlük Bir Örnek: Oto Sanayi Sitesi Benzetmesi

MoE mantığını anlamak için Maslak ya da Ostim'deki büyük bir oto sanayi sitesini düşünebilirsiniz. Aracınızda sadece klima arızası varken dükkandaki kaportacının, boyacının, motor ustasının ve elektrikçinin aynı anda kaputu açıp çalışması hem anlamsız hem de maliyetli olurdu. Usta başı (yönlendirici), aracı görür görmez doğrudan klima ustasına yönlendirir. Geriye kalan ustalar kendi işleriyle ilgilenmeye veya dinlenmeye devam eder.

Benzer şekilde, Kapalıçarşı'da kuyumculuk yapan bir esnafın muhasebe, vergi beyannamesi ve vitrin tasarımı için tüm ekibini aynı anda tek bir faturaya odaklamaması gibidir. Vergi evrakı çıktığında iş doğrudan muhasebeciye devredilir. MoE mimarisi de tam olarak bunu yapar: Tıp ile ilgili bir soru geldiğinde tıp terimlerine hakim uzman ağ uyanırken, tarih veya şiir uzmanı olan kısımlar işlemciyi meşgul etmez.

Geliştiriciler ve Kullanıcılar İçin Pratik Önemi

MoE mimarisi, büyük modellerin yerel cihazlarda ya da daha mütevazı bulut sunucularında çalıştırılabilmesinin önünü açar. Bir yapay zeka modelini kullanırken sistemin MoE tabanlı olup olmadığını teknik belgelerdeki aktif parametre ve toplam parametre ayrımından anlayabilirsiniz. Örneğin yüz milyarlarca toplam parametreye sahip bir model, sorgu anında sadece küçük bir kesitini çalıştırıyorsa bu açıkça bir MoE mimarisidir.

Bu durum son kullanıcı için doğrudan hız ve yanıt kalitesi anlamına gelir. Sunucu tarafında ise daha düşük elektrik tüketimi, daha az bellek bant genişliği ihtiyacı ve daha uygun işletim maliyeti yaratır. Böylece küçük girişimler veya yerel yazılım ekipleri, dev şirketlerin devasa veri merkezlerine ihtiyaç duymadan çok yüksek yetenekli sistemleri kendi iş süreçlerine entegre edebilir.

Sık Yapılan Bir Hata: Toplam Parametre Yanılgısı

MoE mimarisiyle ilgili en yaygın yanlış anlama, modelin her saniye tüm parametreleriyle düşündüğünü varsaymaktır. Birçok kişi kağıt üzerindeki devasa parametre sayısına bakarak sistemin çok yavaş çalışacağını ya da normal bilgisayarlarda asla çalıştırılamayacağını düşünür. Oysa asıl önemli olan, çıkarım (inference) anında aktif olan parametre miktarıdır.

Bir diğer yanılgı ise uzmanların insan eliyle tek tek kodlandığı fikridir. Hangi uzmanın tıp, hangisinin felsefe veya yazılım öğreneceğini mühendisler elle belirlemez. Eğitim sırasında yönlendirici ağ matematiksel olarak görevleri paylaştırır ve uzmanlar kendiliğinden belirli konularda derinleşir.

Sıkça sorulan sorular

MoE ile yoğun (dense) model arasındaki fark nedir?

Yoğun modellerde her sorgu için modelin tüm parametreleri çalışır. MoE modellerinde ise yalnızca o sorguyla ilgili birkaç uzman alt ağ devreye girer, geri kalanı işlem yapmaz.

MoE modelleri neden daha az kaynak tüketir?

Aynı anda tüm sinir ağları yerine sadece küçük bir bölüm aktif olduğu için işlemci ve ekran kartı üzerindeki hesaplama yükü ciddi oranda düşer.

Bir MoE modelindeki uzmanların konusu önceden belirlenir mi?

Hayır, uzmanların hangi konularda uzmanlaşacağı modelin eğitim sürecinde matematiksel optimizasyon sayesinde kendiliğinden şekillenir.

← Yapay Zeka Sözlüğündeki tüm terimler

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›