Yapay zekâ sözlüğü
Orta seviye
Kırmızı Takım Testi (Red Teaming)
Red Teaming
29.08.2026 tarihinde güncellendi
Yapay zeka sistemlerini saldırgan senaryolarla sınayarak güvenlik ve davranış açıklarını bulma yöntemidir.
Genel bakış
Kavramın çerçevesiKırmızı takım testi, sistemi normal kullanıcı akışının dışına çıkararak kötüye kullanım ihtimallerini inceler. Test kapsamı prompt enjeksiyonu, veri sızıntısı, zararlı içerik, yetki aşımı, araç kötüye kullanımı ve modelin politika etrafından dolaşmasını içerebilir. Bulgular tekrar üretilebilir kanıt, etki, olasılık ve düzeltme önerisiyle kaydedilmelidir.
Çalışma mantığı: Testçiler tehdit modeline göre senaryolar üretir, çıktıları sınıflandırır, risk puanlar ve düzeltme sonrasında aynı senaryoları yeniden çalıştırır.
Kullanım alanları: Model yayına alma, güvenlik değerlendirmesi, sohbet asistanı ve ajan ürünlerinde kullanılır.
Sınırlılıklar: Test seti gerçek saldırı uzayının tamamını kapsamayabilir; sürekli izleme ve bağımsız değerlendirme gerekir.
Çalışma mantığı: Testçiler tehdit modeline göre senaryolar üretir, çıktıları sınıflandırır, risk puanlar ve düzeltme sonrasında aynı senaryoları yeniden çalıştırır.
Kullanım alanları: Model yayına alma, güvenlik değerlendirmesi, sohbet asistanı ve ajan ürünlerinde kullanılır.
Sınırlılıklar: Test seti gerçek saldırı uzayının tamamını kapsamayabilir; sürekli izleme ve bağımsız değerlendirme gerekir.
Teknik tanım ve açıklama
Temel mekanizmaBir yapay zeka sisteminin güvenlik açıklarını, kötüye kullanım yollarını ve beklenmeyen davranışlarını saldırgan senaryolarla ortaya çıkarma testidir.
Gerçek hayatta kullanım
Örnek senaryoTest ekibi, asistanı gizli talimatları açığa çıkarmaya, zararlı kod üretmeye ve kişisel veri istemeye yönlendirir; bulgular risk ve düzeltme önerisiyle raporlanır.