Yapay zekâ sözlüğü
Orta seviye
Guardrails
Guardrails
28.08.2026 tarihinde güncellendi
Guardrails, yapay zekâ sisteminin izin verilen davranış sınırları içinde kalması için kullanılan politika, filtre ve kontrol katmanlarıdır.
Genel bakış
Kavramın çerçevesiGuardrails; girdi ve çıktı filtreleri, konu veya araç izinleri, kişisel veri maskeleme, güvenlik politikaları, oran sınırları ve insan onayı gibi katmanlardan oluşabilir. Kural tabanlı kontroller öngörülebilir durumlarda, model tabanlı kontroller ise daha esnek içeriklerde kullanılabilir. Aşırı katı kurallar meşru istekleri engellerken zayıf kurallar riskli çıktıları kaçırabilir. Guardrail tasarımı düzenli kırmızı takım testleri, kayıt ve itiraz süreçleriyle sürekli güncellenmelidir.
Çalışma mantığı: Koruma katmanı isteği analiz eder, izinli araç ve konuları kontrol eder, çıktıyı politika veya güvenlik sınıfına göre filtreleyebilir. Kural, model denetimi, oran sınırı ve insan onayı farklı riskleri birlikte ele alır.
Kullanım alanları: Kurumsal asistan, kod çalıştırma, müşteri iletişimi, kişisel veri işleme ve yüksek etkili otomasyonlarda kullanılır.
Sınırlılıklar: Saldırganlar yeni kaçış yolları deneyebilir; aşırı filtre meşru kullanımı engeller. Kırmızı takım, olay kaydı ve düzenli politika güncellemesi gereklidir.
Çalışma mantığı: Koruma katmanı isteği analiz eder, izinli araç ve konuları kontrol eder, çıktıyı politika veya güvenlik sınıfına göre filtreleyebilir. Kural, model denetimi, oran sınırı ve insan onayı farklı riskleri birlikte ele alır.
Kullanım alanları: Kurumsal asistan, kod çalıştırma, müşteri iletişimi, kişisel veri işleme ve yüksek etkili otomasyonlarda kullanılır.
Sınırlılıklar: Saldırganlar yeni kaçış yolları deneyebilir; aşırı filtre meşru kullanımı engeller. Kırmızı takım, olay kaydı ve düzenli politika güncellemesi gereklidir.
Teknik tanım ve açıklama
Temel mekanizmaYZ sistemlerinin güvenli ve uygun şekilde çalışmasını sağlamak için uygulanan kısıtlamalar ve koruma mekanizmalarıdır.
Gerçek hayatta kullanım
Örnek senaryoBir sohbet uygulaması, kişisel veri isteyen veya tehlikeli talimat üreten istekleri guardrail ile durdurabilir. Editoryal bir uygulamada bu kavramı kullanırken önce hedefi ve başarı ölçütünü yazın, ardından küçük bir örnek üzerinde sonucu kontrol edip üretime almadan önce insan doğrulaması yapın.