Büyük dil modelleri genel bilgide güçlüdür, ancak sizin prosedürlerinizi, ürün reçetelerinizi veya müşteri sözleşmelerinizi bilmez. Geri getirme destekli üretim (Retrieval-Augmented Generation, RAG), soruyla ilgili doküman parçalarını önce kurumun kendi arşivinden bulur, ardından modelden yalnızca bu parçalara dayanarak yanıt üretmesini ister. Doğru kurulduğunda yanıtlar güncel, kaynak gösterilebilir ve kullanıcının yetkisine uygun olur.
Bu rehber, kurumsal yapay zekâ hazırlık kontrol listemizin devamı niteliğindedir; önce veri ve yönetişim hazırlığını tamamlamanızı öneririz.
RAG nasıl çalışır?
- 01Doküman alımıDMS, paylaşımlı klasör
- 02Parçalama ve indeksMetin + vektör
- 03Yetkiye göre aramaİlgili parçalar
- 04Yanıt üretimiYalnızca bağlamdan
- 05Kaynak göstermeDoküman ve revizyon
Sistemin kalitesini çoğu zaman model değil, arama adımı belirler. Yanlış veya eksik parça getirilirse en güçlü model bile yanlış ya da genel bir yanıt üretir. Bu nedenle çabanın büyük kısmı doküman hazırlığına, parçalamaya ve aramaya ayrılmalıdır.
Kapsam ve kullanım senaryosu
“Tüm şirket bilgisine soru sorulabilen asistan” ile başlamak, değerlendirmesi zor ve güveni düşük bir sonuç verir. Bunun yerine net bir kullanıcı grubu, sınırlı bir doküman kümesi ve ölçülebilir bir hedefle başlayın.
| Senaryo | Doküman kümesi | Başarı ölçütü |
|---|---|---|
| Üretim operatörü desteği | İş talimatları, ayar kartları, bakım el kitapları | Doğru talimata ulaşma süresi |
| Kalite ve denetim hazırlığı | Prosedürler, standartlar, geçmiş denetim bulguları | Denetim sorularına kaynaklı yanıt oranı |
| Satış ve teklif desteği | Ürün kataloğu, teknik föyler, onaylı yanıt kütüphanesi | Teklif hazırlama süresi |
| İK ve çalışan soruları | Politikalar, yönetmelikler, SSS | İK'ya gelen tekrar eden soru sayısı |
Doküman hazırlığı
RAG, arşivinizdeki dağınıklığı görünür kılar. Aynı prosedürün üç farklı sürümü varsa asistan hangisini kaynak göstereceğini bilemez. Doküman kontrolü disiplini burada doğrudan yanıt kalitesine dönüşür.
Yetki modeli ve güvenlik
Asistan, kullanıcıya göremeyeceği bir dokümanın içeriğini asla yanıt olarak vermemelidir. Bu nedenle yetki kontrolü arama aşamasında yapılır: her parça kaynak dokümanın erişim listesini taşır ve yalnızca kullanıcının yetkili olduğu parçalar modele gönderilir. Yanıt üretildikten sonra filtrelemek yeterli değildir.
- Kimlik doğrulama kurumsal dizinle (Active Directory, Entra ID, LDAP) entegre edilir.
- Doküman yetkileri kaynak sistemden (DMS, dosya sunucusu) senkronize edilir; ayrı bir yetki listesi elle tutulmaz.
- Gizli ve kişisel veri içeren dokümanlar için model ve indeksin kurum içi (on-premise) veya yurt içi altyapıda çalıştırılması değerlendirilir; yurt dışı aktarım KVKK m.9 şartlarına tabidir.
- Sorular ve yanıtlar kayıt altına alınır; kayıtların saklama süresi ve erişimi tanımlanır.
- İstem enjeksiyonu (prompt injection) gibi saldırılara karşı dokümanlardaki talimat benzeri metinler veri olarak ele alınır.
Parçalama, indeksleme ve arama
- 01Yapıya göre parçalayın
Dokümanları sabit karakter sayısına göre değil başlık, madde ve tablo sınırlarına göre bölün. Her parçaya doküman başlığını ve bölüm yolunu ekleyin; parça tek başına okunduğunda bağlamı anlaşılmalıdır.
- 02Karma arama kullanın
Anlamsal (vektör) arama ile anahtar kelime aramasını birlikte kullanın. Parça numarası, standart maddesi veya hata kodu gibi tam eşleşme gereken sorgularda anahtar kelime araması belirleyicidir.
- 03Yeniden sıralayın
İlk aramada getirilen geniş aday kümesini bir yeniden sıralama (reranking) adımıyla daraltın; modele yalnızca en ilgili birkaç parçayı gönderin.
- 04Meta veriyle filtreleyin
Birim, ürün ailesi, tesis veya doküman tipine göre filtre uygulayın; kullanıcı bağlamını (örneğin çalıştığı tesis) otomatik olarak ekleyin.
Türkçe dokümanlarda gömme (embedding) modelinin Türkçe performansını mutlaka kendi verinizle test edin. Teknik terimlerin, kısaltmaların ve ürün kodlarının doğru eşleştiğinden emin olmak için bir eş anlamlı ve kısaltma sözlüğü eklemek arama kalitesini belirgin biçimde artırır.
Yanıt üretimi ve kaynak gösterme
- Model, yalnızca verilen parçalara dayanarak yanıt vermesi ve bilgi yoksa “dokümanlarda bulunamadı” demesi için yönlendirilir.
- Her yanıt; doküman adı, numarası, revizyonu ve ilgili bölümle birlikte kaynak gösterir, kullanıcı tek tıkla kaynağa gider.
- Prosedür adımları gibi kritik içeriklerde yanıt, özetlemek yerine kaynak metni alıntılar.
- Güvenlik, kalite kararı veya yasal yorum gerektiren sorularda asistan sorumlu kişiye yönlendirir.
- Kullanıcı her yanıtı “faydalı / hatalı” olarak işaretleyebilir; geri bildirim değerlendirme setine eklenir.
Sık yapılan hatalar: Eski ve güncel revizyonları birlikte indekslemek; yetki kontrolünü yanıt üretiminden sonra yapmak; kaynak göstermeyen yanıtlara izin vermek; değerlendirme seti olmadan “denedik, iyi görünüyor” diyerek canlıya geçmek; doküman güncellendiğinde indeksi güncellememek.
Değerlendirme ve kabul
Canlıya geçmeden önce, gerçek kullanıcı sorularından ve doğru yanıtların hangi dokümanda olduğundan oluşan bir değerlendirme seti hazırlayın. Bu set her model, istem veya parçalama değişikliğinde yeniden çalıştırılır; böylece bir iyileştirmenin başka bir yeri bozup bozmadığı görülür.
| Ölçüt | Soru | Örnek kabul eşiği |
|---|---|---|
| Arama isabeti | Doğru kaynak parça ilk sonuçlar arasında mı? | Soruların %90'ında ilk 5 sonuçta |
| Kaynağa sadakat | Yanıttaki her iddia gösterilen kaynakta var mı? | %95 ve üzeri |
| Doğruluk | Yanıt uzmanın yanıtıyla uyumlu mu? | Uzman değerlendirmesinde %85 ve üzeri |
| Doğru reddetme | Cevabı dokümanlarda olmayan sorularda “bulunamadı” deniyor mu? | %90 ve üzeri |
| Yetki ihlali | Kullanıcı yetkisi dışında içerik döndü mü? | Sıfır |
| Yanıt süresi | Kullanıcı ne kadar bekliyor? | Çoğu soruda birkaç saniye |
Sonuç
Başarılı bir doküman asistanı, temiz ve güncel bir doküman arşivi, aramada uygulanan yetki modeli, kaynak gösteren yanıtlar ve düzenli çalıştırılan bir değerlendirme setinin üzerine kurulur. OREL DMS doküman revizyonlarını ve yetkilerini tek kaynakta yönetir; OREL AI ve OREL DM ile bu arşiv, kurum içinde çalışan ve kaynak gösteren bir asistana dönüşür.