llm token maliyetini düşürme yöntemleri

prompt caching kullanmak, context window'da gereksiz geçmişi özetleyerek temizlemek ve her görev için en büyük modeli değil, yönlendirici (router) mimarisiyle küçük modelleri devreye sokmak faturayı %70 azaltıyor.

gpt-4o-mini, haiku veya deepseek gibi hafif modelleri sınıflandırma ve özetleme için kullanıp, sadece karmaşık analizleri amiral gemisi modellere paslamak en akılcı yöntem.