Kendi Yerel Yapay Zekanı Kur: Dijital Özgürlük ve Gizlilik

Şunu bir an durup düşün: En mahrem fikirlerini, şirketine ait ticari sırları ya da üzerinde haftalardır çalıştığın o kod parçalarını bir yapay zekaya soruyorsun. Cevaplar harika geliyor ama aklının bir köşesinde şu soru takılı kalıyor:

“Bu veri şimdi nereye gitti?”

Bulut tabanlı yapay zeka servislerinin neredeyse tamamında cevap net: veri senin bilgisayarında kalmıyor. On yılı aşkın süredir yapay zeka ve veri güvenliği üzerine çalışan biri olarak şunu rahatlıkla söyleyebilirim: Bu çağda veri, petrolden bile daha değerli. Ve kimse petrolünü bedavaya dağıtmaz.

İşte tam bu noktada Kendi Yerel Yapay Zekanı Kur yaklaşımı devreye giriyor. İnternete bağlı olmadan, tamamen kendi bilgisayarında çalışan, kimseyle veri paylaşmayan bir “Private AI” sistemi… Birkaç yıl önce kulağa ütopik gelirdi. Bugün ise fazlasıyla mümkün.

Yerel Yapay Zeka Neden Bu Kadar Önemli?

Bulut tabanlı yapay zekalar (ChatGPT, Claude, Gemini vb.) hız ve erişilebilirlik açısından çok güçlü. Bunu inkâr etmek saçma olur. Ama bu konforun bir bedeli var: kontrol sende değil.

Yerel bir yapay zeka kurduğunda sadece gizlilik kazanmazsın. Aslında üç kritik avantaj elde edersin:

• Verilerin bilgisayarından dışarı çıkmaz

• Abonelik ücretlerinden kurtulursun

• İnternet olmadan çalışabilirsin

Kendi makinemde yerel bir modeli ilk kez kurduğum günü hatırlıyorum. Bir uçuş sırasında, internet tamamen kapalıyken karmaşık bir raporu analiz edebildiğimi fark ettiğimde “tamam” demiştim, buluta dönüş yok.

Donanım Gerçeği: Her Şey CPU Değil

Burada çok yapılan bir hata var. İnsanlar hâlâ yapay zekayı işlemci gücüyle ilişkilendiriyor. Oysa işin aslı şu: Yerel yapay zekada asıl mesele GPU ve VRAM’dir.

VRAM Neden Bu Kadar Kritik?

Modeller GPU’nun video belleğinde yaşar. VRAM yetmezse sistem CPU’ya düşer ve performans dramatik şekilde çöker.

• 8 GB VRAM: 7B–8B modeller için alt sınır

• 12–16 GB VRAM: Akıcı, stabil ve keyifli kullanım

• RAM: 16 GB minimum, 32 GB ciddi rahatlık sağlar

Apple Silicon Kullanıyorsan…

Apple’ın birleşik bellek mimarisi burada ciddi avantaj sağlar. M2 Max kullandığım bir sistemde, yerel modellerin ne kadar stabil ve sessiz çalıştığını görünce açıkçası şaşırmıştım. Kâğıt üstündeki rakamlar her şeyi anlatmıyor.

Kendi Yerel Yapay Zekanı Kurmak: Gerçekten Zor mu?

Eskiden zordu. Terminalde kaybolur, CUDA sürümleriyle boğuşur, vazgeçerdin.

Bugün değil.

Yöntem 1: Ollama (Hızlı ve Minimal)

Terminal seviyorsan en temiz çözüm.

1. Ollama’yı kur

2. Terminalde şunu yaz: ollama run llama3

3. Bitti. Gerçekten bu kadar.

Model iner, sohbet başlar. Arka planda karmaşık hiçbir şeyle uğraşmazsın.

Yöntem 2: LM Studio (Görsel Arayüz)

“Ben görsel arayüz istiyorum” diyorsan.

• Programı indir

• Model arat (Mistral, Llama, Phi-3)

• Donanımına uygun quantized (Q4_K_M gibi) versiyonu seç

• AI Chat sekmesine geç ve kullan

Burada yapılan en büyük hata: en büyük modeli indirmeye çalışmak. Daha büyük her zaman daha iyi değildir.

Hangi Model Kimin İçin?

Bu soru çok geliyor, o yüzden net konuşayım:

• Llama 3 (8B): Günlük kullanım, yazı yazma, fikir üretme, genel asistanlık için çok dengeli.

• Mistral 7B: Kod, mantık, veri işleri… Daha “keskin”.

• Phi-3: Zayıf donanımda şaşırtıcı derecede iyi.

Kendi kullanımımda bile tek modelle yetinmiyorum. Günlük işler Llama 3, teknik işler Mistral. Hangisi uygunsa onu çağırıyorum.

Gerçek Hayatta Ne İşe Yarar?

Yerel yapay zekanın gücü teoride değil, pratikte ortaya çıkar:

• Kişisel günlüklerini analiz edebilirsin

• Şirket içi gizli belgelerle çalışabilirsin

• Özel kodlarını kimseye göndermeden optimize edebilirsin

• Filtrelenmemiş, daha geniş perspektifli cevaplar alabilirsin

Ve en önemlisi: “Acaba bu veri nereye gitti?” sorusu kafandan silinir.

Kontrol Sende Değilse, Ürün Sensin

Bu yazıyı teknik bir rehber olarak okuyabilirsin ama benim için mesele biraz daha derin. Kendi Yerel Yapay Zekanı Kur yaklaşımı, bir yazılım kurulumu değil; bir duruş.

Bugün güçlü bir ekran kartı ya da Apple Silicon çipi sadece oyun ya da video için değil, kişisel zekânı barındırmak için de var. Bu özgürlüğü bir kez yaşadıktan sonra, her soruda verini bir yerlere gönderen sistemlere geri dönmek zor geliyor.

İlk adımı at. Donanımına bak. Bir modeli indir.

Gerisi kendiliğinden geliyor.

Kişisel Yapay Zeka Hakkında Sık Sorulan Sorular (FAQ)

Yerel yapay zeka internet olmadan gerçekten çalışır mı?

Evet, bu işin en net artısı da bu zaten. Modeli bir kez indirip kurduktan sonra internet bağlantısını tamamen kapatabilirsin. Soruların, yanıtlar, hesaplamalar… hepsi senin bilgisayarında olur. Veri dışarı çıkmaz, bir yere gönderilmez.

Bilgisayarım ciddi şekilde ısınıyor, bu normal mi?

Kısa cevap: Evet, normal. Yapay zeka çalışırken ekran kartı genelde tam yükte çalışır. Özellikle laptop kullanıyorsan fan sesleri artar, kasa ısınır. Uzun süreli kullanımda iyi havalandırma sağlamak ve cihazı düz bir zeminde kullanmak gerçekten fark yaratır.

Yerel modeller ChatGPT kadar “akıllı” mı?

Bazı konularda evet, bazı konularda hayır. Llama 3 gibi açık kaynaklı modeller ChatGPT-4 seviyesine oldukça yaklaştı. Ancak çok karmaşık muhakeme veya geniş bağlam gerektiren işlerde bulut tabanlı dev modeller hâlâ bir adım önde. Buna rağmen günlük kullanımda — yazı, kod, analiz — ihtiyaçların büyük kısmını rahatlıkla karşılarlar.

Yerel yapay zeka kurmak ücretli mi?

Hayır, yazılım tarafında değil. Ollama, LM Studio ve kullanılan modeller ücretsiz ve açık kaynaklıdır. Buradaki tek “maliyet”, sahip olduğun donanım ve doğal olarak tüketilen elektrik. Aylık abonelik derdi yok, sürpriz fatura yok.

Modelleri düzenli olarak güncellemek gerekir mi?

Zorunlu değil ama akıllıca olur. Açık kaynak dünyası çok hızlı ilerliyor. Yeni sürümler genellikle daha az kaynak tüketir ve daha tutarlı cevaplar verir. Ayda bir bakmasan da, birkaç ayda bir güncelleme kontrolü yapmak ciddi fark yaratır.