Yapay zekâ sözlüğü
İleri düzey
Knowledge Distillation
Knowledge Distillation
28.08.2026 tarihinde güncellendi
Bilgi damıtma, büyük bir öğretmen modelin öğrendiği davranışları daha küçük ve hızlı bir öğrenci modele aktarma yöntemidir.
Genel bakış
Kavramın çerçevesiKnowledge distillation sürecinde öğretmen modelin olasılık dağılımları veya ara temsilleri öğrenci modele hedef olarak sunulur. Öğrenci, yalnızca doğru etiketi değil öğretmenin sınıflar arasındaki benzerlik bilgisini de öğrenebilir. Böylece daha az kaynakla çalışan bir model elde edilebilir. Sıkıştırma sırasında bazı yetenekler ve nadir durum performansı kaybolabileceği için öğrenci model gerçek kullanım senaryolarında ayrıca test edilmelidir.
Çalışma mantığı: Öğretmen modelin yumuşak olasılıkları veya ara temsilleri, öğrenci model için daha zengin hedef oluşturur. Sıcaklık katsayısı ve gerçek etiket birlikte kullanılarak küçük modelin genellemesi korunmaya çalışılır.
Kullanım alanları: Mobil çıkarım, düşük maliyetli API, edge cihaz, gecikme hassas uygulama ve model servislerini küçültmede kullanılır.
Sınırlılıklar: Nadir yetenek, güvenlik davranışı ve doğruluk kaybolabilir; öğrenci model öğretmenle aynı alanlarda ayrı ayrı test edilmelidir.
Çalışma mantığı: Öğretmen modelin yumuşak olasılıkları veya ara temsilleri, öğrenci model için daha zengin hedef oluşturur. Sıcaklık katsayısı ve gerçek etiket birlikte kullanılarak küçük modelin genellemesi korunmaya çalışılır.
Kullanım alanları: Mobil çıkarım, düşük maliyetli API, edge cihaz, gecikme hassas uygulama ve model servislerini küçültmede kullanılır.
Sınırlılıklar: Nadir yetenek, güvenlik davranışı ve doğruluk kaybolabilir; öğrenci model öğretmenle aynı alanlarda ayrı ayrı test edilmelidir.
Teknik tanım ve açıklama
Temel mekanizmaBüyük ve karmaşık bir modelin bilgisini daha küçük ve hızlı bir modele aktarma tekniğidir. Model sıkıştırma yöntemlerinden biridir.
Gerçek hayatta kullanım
Örnek senaryoBüyük bir öğretmen modelin davranışı, daha küçük bir öğrenci modele distillation ile aktarılabilir. Editoryal bir uygulamada bu kavramı kullanırken önce hedefi ve başarı ölçütünü yazın, ardından küçük bir örnek üzerinde sonucu kontrol edip üretime almadan önce insan doğrulaması yapın.