RAG nedir?
Retrieval-Augmented Generation (Erişimle Zenginleştirilmiş Üretim)
Bir dil modelinin cevap üretmeden önce ilgili belgeleri bir bilgi kaynağından bulup bağlam olarak kullanmasını sağlayan yöntem.
RAG, büyük dil modellerinin (LLM) yalnızca eğitimde öğrendiklerine güvenmek yerine, cevap verirken dış bir bilgi kaynağına başvurmasını sağlayan bir mimaridir. Böylece model güncel, kuruma özel veya çok spesifik bilgiler hakkında daha doğru cevaplar verebilir.
Süreç genellikle şöyle işler: Önce belgeler küçük parçalara bölünür ve her parça bir gömme (embedding) modeliyle sayısal vektörlere dönüştürülüp bir vektör veritabanında saklanır. Kullanıcı soru sorduğunda soru da vektöre çevrilir ve anlamca en yakın parçalar bulunur. Son olarak bu parçalar soruyla birlikte LLM'e verilir ve modelden yalnızca bu bağlama dayanarak cevap vermesi istenir.
RAG, modeli yeniden eğitmeden bilgi tabanını güncellemeyi mümkün kılar; yeni bir belge eklemek, onu indekse eklemek kadar kolaydır. Ayrıca cevabın hangi kaynaktan geldiği gösterilebildiği için halüsinasyon riskini azaltır ve doğrulamayı kolaylaştırır.
Şirket içi doküman asistanları, ürün kılavuzlarından cevap veren destek botları ve mevzuat arama araçları tipik RAG uygulamalarıdır.
Örnek: RAG akışının iskeleti
def cevapla(soru, vektor_db, llm, embed):
soru_vektoru = embed(soru)
parcalar = vektor_db.en_yakin(soru_vektoru, k=3)
baglam = "\n---\n".join(p.metin for p in parcalar)
istem = (
"Yalnızca aşağıdaki bağlama dayanarak cevap ver. "
"Bağlamda yoksa 'bilmiyorum' de.\n\n"
f"Bağlam:\n{baglam}\n\nSoru: {soru}"
)
return llm(istem)İpuçları
- Belgeleri çok büyük parçalara bölmek alakasız bilgiyi, çok küçük bölmek ise bağlam kaybını artırır; parça boyutunu deneyerek ayarlayın.
- Cevapla birlikte kullanılan kaynakları göstermek, kullanıcının bilgiyi doğrulamasını kolaylaştırır.
