Neden: Jan, llama.cpp'nin otomatik yerleştirmesini kapatıp modeli 8192 belirteçlik bağlamla tamamen ekran kartına yüklemeye çalışıyor. 4 milyar parametreli modelde bağlam belleği tek başına 1,1 GB tuttuğu için 4 GB karta sığmıyor; kart boşken de tekrarlandı.
Çözüm: Model adının yanındaki çark simgesiyle Model Settings panelini açın, Context Size değerini 4096 yapın ve yeni bir sohbet açın. Yine sığmazsa GPU Layers değerini düşürün (0 = yalnız işlemci) ya da daha küçük bir model seçin.