deepseek yerel sunucu kurulumu

ollama veya vllm ile şirket içi sunucularda veri dışarıya sızmadan çalışan açık kaynak dev model. r1 ve v3 modelleri mantık yürütme testlerinde kapalı rakiplerini yakalamış durumda.

(bkz: #1) kvkk ve regülasyon gereği finans ve sağlık verisini openai veya claude api'sine gönderemeyen kurumlar için en ideal çözüm. çift rtx 4090 veya tek a100 ile çok iyi inference hızı alınıyor.

quantization tarafında q4_k_m veya q8_0 formatları vram tasarrufu için harika iş çıkarıyor.