Q4’ün ortasındasın, AWS faturasını inceliyorsun. Altı haneli rakam. Puf, gitti. Ne için peki? OpenAI API’larını çaresiz bir eski sevgili gibi dürtmek.
AI’yi kendi sunucunda çalıştırmak 2026’da oyunu değiştiriyor — yoksa değiştirmiyor mu? TCO’da %55 düşüş. 18 ms gecikme. Bulut kilidine gülen açık kaynak yığını. Kulağa rüya gibi geliyor. Ama şirket kartını H100’lere gömmeden önce şu deliklerini iyice didikleyelim.
Bulut Faturası Altı Haneliye Vurduğunda O An
AI maliyetlerinin %70-90’ı mı? Çıkarım, eğitim değil. Stanford 2023 raporunda çaktı bunu.
AI işletme maliyetlerinin %70-90’ı çıkarım kaynaklı, eğitimden değil.
Bulut GPU’ları saatte 32 dolar? Çalışma süresince çarp. Pat — yıllık kabus. API’lar token başına ücretliyor, hacim artsa da sonsuza dek yükseliyor. Hacme acımıyor.
Kendi sunucunda? Donanımı bir kere al. Sonsuz ince ayar yap. IDC’ye göre büyük modellerde 18 ay sonra %55 daha ucuz. Tamam. Ama peşin ödeme? Ayı ayır.
Bulutun üçlü darbesi: 18 ayda altyapı 420 bin dolar (p4d.24xlarge canavarları), çıkarım 380 bin dolar (merhaba OpenAI), mühendislik 60 bin dolar. Toplam: 860 bin dolar.
Kendi sunucunda dönüşüm: 180 bin dolar donanım (4x H100 kümesi), 45 bin dolar çıkarım (sahip sensin), 120 bin dolar mühendislik (artık sen ops takımı). 345 bin dolar. Tasarruf 12. aydan sonra devreye giriyor. Öncesi? Kararsızlar için bulut kazanır.
Şu var ki — mühendislik maliyetleri? Az sayılmış. Gece 3’te vLLM debug’ını kim yapacak?
Gecikme: 18 ms Yoksa Hiç?
Kendi sunucunda H100? 18 ms. Bulut API’ları? 350 ms sürünme. AWS instance’ları? 180 ms. A100’ler 45 ms çıkarıyor.
19 kat hızlı. Ağ ruleti yok, paylaşımlı kiracılar döngü çalmıyor. Direkt: app’ten GPU’ya.
Goldman Sachs trading’de latency’yi %40 indirdi içerde. Mayo Clinic? Tanılar için on-prem. Gerçek zamanlı işler buna mecbur kılıyor.
Ama — toplu işler? Offline ezme? Bulut 500 ms+’de idare eder. Gece raporlarını kendi sunucunda çalıştırma.
2026’da Neden AI’yi Kendi Sunucunda Çalıştırasın?
Önce başa baş hesabı. H100: tanesi 30-40 bin dolar. 4 GPU kümesi: 160 bin dolar. Ops: ayda 10 bin dolar (elektrik, ter).
Bulut: sürekli ayda 23 bin dolar. 9. ayda kesişiyor. 24 ayda? 280 bin dolar tasarruf. Kullanım %50 üstü? Yap. %30 altı? Bulutta kal.
Sürücüler: Gizlilik (AB firmalarının %67’si veri sızıntısından nefret — GDPR, HIPAA). Maliyetler (doğrusal cehennem). Açık kaynak (%45 kilitten kaçıyor). Gecikme. Özelleştirme.
Bulutun PR’si dönüyor: “Ölçeklenebilir!” Evet, ölçeklenebilir pahalı.
Benim görüşüm? Bu 80’ler mainframe çöküşünü andırıyor. IBM her şeye sahipti — ta ki PC’ler gelene kadar. AI’yi kendi sunucunda çalıştırmak? Veri merkezlerindeki mini-mainframe’ler. Bulut devleri 2027’de fiyatları kırarak indirir. Bahse girerim.
Bulutu (Neredeyse) Yerine Geçen Açık Kaynak Yığını
vLLM önde. Berkeley’nin 2023 mücevheri: 2-4 kat verim. Ama orijinal kesik — boşlukları dolduralım.
Ray Serve ile ölçekle. Triton Inference Server ile çoklu model çılgınlığı. KServe ile Kubernetes beyni. Ollama ile hızlı yerel testler (production’a sokma).
Yığ: Ray üstünde vLLM, Triton’la sar, KServe’le dağıt. Llama 3.1 gibi açık modeller. 4-bit’e kuantize et — daha fazla sıkıştır.
Şüpheci misin? Araçlar hızlı olgunlaşıyor ama kümeler bozuluyor. Güç dalgalanmaları. Sürücü hataları. Nvidia’nın CUDA kilidi (ironik, açık kaynak?).
Gerçek kazanç: Limit yok. Çıkış ücreti yok. Yalvarmadan ince ayar.
Takımın İçin %55 TCO Gerçek mi?
18 ay sonra %55. Sabit yük varsayıyor. Ya AI hype’ı sönerse? Donanım çürür — H100’ler 2028’de eskimez mi?
Mühendislik 120 bin dolara zıplarsa? Az tahmin. DevOps sihirbazı tut. Ya da outsource — bulut maliyetlerine dön.
Aralıklı? Bulut. Yüksek verimli gerçek zamanlı? Kendi sunucunda. Trading bot’ları, sohbet ajanları, tanılar — evet.
Tahminim: 2026’da hibrit hükmedecek. Çekirdekleri kendi sunucunda, patlamaları bulutta. Saf kendi sunucu? Takıntılılar için.
Kurumlar satıcı tuzaklarından kaçıyor. Linux Foundation: %45 açık kaynak seçiyor.
