Przejdź do treści
promptowy.com / Yapay Zeka Sözlüğü / Model Damıtma (Knowledge Distillation)
Modeller ve eğitim

Model Damıtma (Knowledge Distillation)

Büyük ve hantal bir yapay zeka modelinin bilgisini, daha hızlı ve hafif bir öğrenci modele aktararak verimlilik sağlayan eğitim yöntemidir.

Model damıtma (knowledge distillation), devasa ve yüksek işlem gücü gerektiren bir öğretmen yapay zeka modelinin edindiği bilgileri, çok daha küçük ve çevik bir öğrenci modele aktarma sürecidir. Bu yöntem sayesinde küçük model, ham verilerle sıfırdan eğitilmek yerine büyük modelin çıktılarından ve karar mekanizmalarından beslenir. Sonuç olarak devasa modellerin sunduğu anlama ve üretme kabiliyeti, çok daha düşük bellek ve işlemci kapasitesine sahip sistemlerde de çalışabilir hale gelir.

Makine öğreniminde sıfırdan model eğitmek hem yüksek maliyetli donanımlar gerektirir hem de aylar süren bir optimizasyon sürecine ihtiyaç duyar. Bilgi damıtma tekniği, öğretmen modelin veriler arasındaki ince bağlantıları kavrama yeteneğini özetleyerek öğrenciye sunar. Böylece minyatür model, dev ağabeyinin yeteneklerinin önemli bir kısmını çok daha düşük bir donanım ayak iziyle taklit edebilir.

Öğretmen ve Öğrenci Mimarisi Nasıl Çalışır?

Model damıtmanın temelinde iki temel figür yer alır: Daha önce geniş veri kümeleriyle eğitilmiş karmaşık bir öğretmen model ve hedef mimari olan kompakt öğrenci model. Süreç şu mantıkla işler:

  • Yumuşak Etiketler (Soft Labels): Standart bir eğitimde model sadece kesin doğruları (örneğin bir görselin yüzde yüz kedi olduğunu) öğrenir. Damıtma sürecinde ise öğretmen model, olasılık dağılımlarını da aktarır. Yani o görselin bir kediye çok benzediğini ama ufak da olsa bir köpeği andırdığı bilgisini öğrenciye iletir. Bu nüanslar öğrencinin genelleme yeteneğini artırır.
  • Kayıp Fonksiyonunun Dengelenmesi: Öğrenci model hem orijinal etiketlerle hem de öğretmenin tahminleriyle kıyaslanır. Amaç, aradaki farkı en aza indirmektir.
  • Sıkıştırma ve Hız: Gereksiz parametrelerden arındırılan öğrenci model, saniyeler süren çıkarımları milisaniyelere indirir.

Türkiye'den Bir Örnek: Yerel E-Ticaret ve Müşteri Hizmetleri

İstanbul Kapalıçarşı veya Kadıköy merkezli, internet üzerinden tüm Türkiye'ye satış yapan orta ölçekli bir e-ticaret işletmesini ele alalım. Gün içinde gelen binlerce müşteri sorusunu, iade talebini ve kargo takibini otomatik yanıtlamak isteyen bu işletme için devasa bir dil modelini her çağrıda çalıştırmak ciddi bir bulut faturası yaratır. Ayrıca mobil uygulamaya giren kullanıcıların yanıt için birkaç saniye beklemesi alışveriş deneyimini olumsuz etkiler.

İşletmenin yazılım ekibi, büyük bir dil modeline binlerce Türkçe müşteri mesajını analiz ettirerek çıktılarını toplar. Ardından sadece birkaç yüz megabayt yer kaplayan küçük bir öğrenci modeli bu çıktılarla eğitir. Sonuçta ortaya çıkan damıtılmış hafif model, yerel bir veri merkezindeki mütevazı bir sunucuda veya doğrudan şirket içi sunucularda düşük gecikmeyle çalışır. Kullanıcı faturayı şişirmeden, bekleme süresi olmadan kargosunun nerede olduğunu anında öğrenir.

Pratikte Uygulama ve Dikkat Edilmesi Gerekenler

Bir damıtma projesine başlamadan önce öğrenci modelin kapasitesini doğru seçmek gerekir. Eğer mimari çok küçük tutulursa öğretmen modelin sunduğu zengin olasılık dağılımını kavrayamaz. Süreci test ederken dikkat edilmesi gereken başlıca unsurlar şunlardır:

  1. Sıcaklık (Temperature) Ayarı: Damıtma sırasında kullanılan sıcaklık parametresi, öğretmenin ürettiği olasılıkların ne kadar yumuşatılacağını belirler. Bu ayarın doğru yapılması ince detayların aktarılmasını sağlar.
  2. Doğrulama Testleri: Damıtılmış modelin sadece öğretmeni ezberleyip ezberlemediğini anlamak için daha önce görülmemiş yerel test verileriyle doğruluk ölçümü yapılmalıdır.
  3. Donanım Uyumu: Modelin çalıştırılacağı hedef ortam (örneğin eski bir akıllı telefon veya düşük konfigürasyonlu bir pos cihazı) önceden simüle edilmelidir.

Telif ve Hizmet Şartları Riskleri

Son dönemde bilgi damıtma konusunda en çok tartışılan konulardan biri yasal sınırlardır. Birçok büyük yapay zeka sağlayıcısı, sundukları kapalı modellerin API çıktıları üzerinden yeni bir rakip model eğitilmesini kullanıcı sözleşmeleriyle açıkça yasaklar. Dışarıdan bir modelin çıktılarını toplayarak kendi öğrenci modelinizi damıtmak teknik olarak mümkün olsa da, sağlayıcının şartlarını ihlal ettiği takdirde hesabın kapatılmasına ve hukuki yaptırımlara yol açabilir.

Sık Yapılan Bir Hata: Kapasite Uyuşmazlığı

Ekiplerin en sık düştüğü yanılgı, devasa bir modelin tüm marifetlerini aşırı küçük bir sinir ağına aktarabileceğini düşünmektir. Karmaşık mantık yürütme, çok dilli çeviri ve derin bağlam takibi gerektiren görevlerde aradaki boyut farkı uçuruma dönerse, öğrenci model önemli bilgileri kaybeder ve halüsinasyon görme eğilimi artar. Damıtma işlemi sihirli bir yok etme mekanizması değil, odaklanmış bir özetleme sanatıdır.

Sıkça sorulan sorular

Model damıtma ile model budama (pruning) arasındaki fark nedir?

Budama mevcut bir modelin önemsiz ağırlıklarını silerek onu küçültürken, damıtma sıfırdan tasarlanan ayrı ve daha küçük bir öğrenci modele büyük öğretmenin bilgisini aktarır.

Damıtılmış küçük bir model büyük model kadar başarılı olabilir mi?

Belirli ve dar kapsamlı bir görev üzerinde odaklanıldığında damıtılmış model, öğretmen modelin performansına çok yaklaşabilir hatta aynı başarıyı yakalayabilir. Ancak genel muhakeme gerektiren geniş görevlerde bir miktar kalite kaybı kaçınılmazdır.

API üzerinden başka bir modeli damıtmak yasal mı?

Çoğu ticari model sağlayıcısının kullanım koşulları, kendi modellerinin çıktılarının başka modelleri eğitmek veya damıtmak amacıyla kullanılmasını açıkça yasaklar. Bu durum sözleşme ihlali teşkil eder.

← Yapay Zeka Sözlüğündeki tüm terimler

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›