Büyük dil modelleri etkileyicidir ama iki temel zaafları vardır: bilgileri belirli bir tarihte donar ve bazen kendinden emin biçimde yanlış bilgi üretebilirler. Mevzuat, kamu hizmetleri veya güncel ekonomik veriler gibi konularda bu kabul edilemez.
Getirme destekli üretim (RAG)
Çözümümüz, modelin yanıt vermeden önce ilgili belgeleri bir bilgi tabanından getirmesi ve yanıtını bu belgelere dayandırmasıdır:
- Soru, anlamsal bir vektöre dönüştürülür.
- PostgreSQL + pgvector üzerinde en ilgili belge parçaları bulunur.
- Bu parçalar, kaynak bilgisiyle birlikte modele "bağlam" olarak verilir.
- Model, yanıtında kaynağı belirtir; bağlamda olmayan bilgiyi bağlamdaymış gibi sunmaz.
Neler olacak?
- Açık lisanslı kamu belgeleri ve resmî duyurular
- Kullanıcıların kendi yükledikleri belgeler (yalnızca kendileri için)
- İzin verilmesi hâlinde kullanıcıya özel hafıza
- İleride, kontrollü web araması
Durum
Simit GPT'nin mimarisinde bilgi getirme katmanı şimdiden yer alıyor; şu anda henüz boş bağlam döndürüyor. Bilgi tabanı Faz 2 ile birlikte devreye girecek.