Bir yapay zekâ ürününü tek bir model sağlayıcısına sıkı sıkıya bağlamak, kısa vadede kolay ama uzun vadede risklidir. Simit GPT'yi en baştan sağlayıcıdan bağımsız tasarladık.
Katmanlar
text
Arayüz → /api/chat → Bilgi Getirme → Model Yönlendirici → Sağlayıcı
├─ Hazır API modelleri
└─ Simit Local (Simit-TR)
- Arayüz hiçbir zaman bir model sağlayıcısıyla doğrudan konuşmaz; API anahtarları yalnızca sunucuda durur.
- Sağlayıcılar ortak bir arayüzü uygular:
chat()vestreamChat(). - Model Yönlendirici, yapılandırmayla seçilen moda göre çalışır: hazır API modelleri, yerel model veya hibrit.
Hibrit mod
Hibrit modda yönlendirici, isteği sırayla denenecek sağlayıcılara gönderir. Bir sağlayıcı ilk kelimeyi üretmeden önce zaman aşımı, ağ hatası veya hız sınırı gibi geçici bir sorun yaşarsa sıradakine geçer. Yanıt başladıktan sonra asla model değiştirmeyiz; böylece "yamalı" yanıtlar oluşmaz.
İlerleyen aşamada sıralama statik olmayacak: Türkiye'ye özgü ve Türkçe ağırlıklı sorular Simit-TR'ye, uzun akıl yürütme gerektirenler güçlü hazır API modellerine gidebilecek.
Neden önemli?
- Dayanıklılık: Bir sağlayıcıdaki kesinti tüm ürünü durdurmaz.
- Maliyet: Basit işler daha ekonomik modelde çözülebilir.
- Bağımsızlık: Kendi modelimizi devreye almak bir yapılandırma değişikliğinden ibarettir.