2025 yılı bitmek bilmedi desek yeridir. Yılın sonuna doğru artık sakinleşir diye beklediğimiz bu dönemde teknoloji ve AI alanındaki gündem baş döndürücü bir seviyeye ulaştı. Deepseek, Open AI, Google, TPU, AMD derken üzerine çok uzun tartışma gerektiren bir hamle daha geldi, Groq-Nvidia anlaşması.
Groq, daha önceki yazılardan ve videolardan hatırlanacaktır, bir müşteri kazanımı olan ve maliyet avantajı ile kendisine yer edinmeyi başarmış şirketlerden bir tanesi olarak bahsettiğim bir şirketti. Burada baktığınızda birkaç adet start-up var ve bu şirketler bildiğimiz GPU mimarisinden farklı mimariler ile yarışmaya çalışıyorlar. Stratejik hedef, Nvidia’nın yaptığı şeyi daha ucuza yapmaya çalışmak değil, tamamen çip dediğimiz ürünün mimarisini değiştirmek ve GPU’dan başka bir şeye benzetmek. Gerçekten çok heyecanlı süreçler, biraz teknik detayını anlamaya çalışalım.
Groq şirketi, Google TPU’larının mucidi olarak da bilinen bir şirkettir ve TPU’ların geliştirilmesi sürecinde aktif rol almış önemli mühendisleri barındırıyor. Şirketin ürünü LPU olarak geçiyor, bu da TPU gibi bir GPU alternatifi. Bu mimarinin ana odağı, TPU’larda başlarda olduğu gibi inferencing. Nvidia GPU’ları her ne kadar yüksek performans veriyor olsalar da inference süreçleri için fazla komplike kalabiliyorlar. Stratejik açıdan inferencing süreçlerini hedeflemek oldukça mantıklı çünkü model eğitimi dediğimiz süreç çok komplike matematiksel işlemler gerektiren ve çok esnek bir yapı inşa etmeyi gerektiriyor. Inferencing ise daha basit bir süreç, Nvidia’dan daha basitini yapabilirsiniz ve maliyet olarak yer edinebilirsiniz. Yapılan tüm karşılaştırmalarda da Nvidia’nın karşısına çıkarılan TPU ve AMD çiplerinin az sayıda da olsa avantajlı olduğu süreçlerde maliyet bazlı olarak baktığımızda bir avantaj görüyorduk. Bunu yapabilmenin ana yollarından biri de Groq’un ve TPU’nun yaptığı gibi VLIW modelinde çalışmak, yani donanımı basit tutup compiler tarafında aktif olmak. Compiler tarafında aktif olmak dediğimiz zaman gelen görev tanımlarını çok daha yüklü bir yazılım ile planlamayı anlayabiliriz, Nvidia çiplerinde donanım çok daha güçlü olduğu için bu dağılımı ve planlamayı yapmak daha kolay ve hata toleransı daha düşük, VLIW modellerinde ise biraz daha ucuz ancak biraz daha uğraştırıcı. Bu birinci fark.
Mimari bazlı farkın yanı sıra belki de esas can alıcı nokta olan hafıza kullanımına bakmamız gerekiyor. SRAM denen bir hafıza tipi kullanılıyor bu VLIW mimarilerinde ve bunun ana amacı GPU’ya göre hafıza-işlemci bağlantısını en yakın ve en hızlı hale getirmek üzerine. Cerebras şirketinin de ana odağı, işlem gücünün ana değer zincirinin hafıza kullanımda olması. Bu görüş en başından beri çok önemliydi ve piyasanın çok geç farkına vardığı hafıza çipi döngüsü de bu görüşü doğruluyor. SRAM, işlemcinin içine entegre edilen bir hafıza çipi, bu nedenle herhangi bir gecikme söz konusu değil ve bant genişliği çok yüksek olan çok güçlü bir çip. HBM yani bugün GPU’larda gördüğümüz hafıza çipleri ise daha farklı bir mimarisi olan, çalıştırdığınız modelin parametrelerini içinde tutan bir harici parça, bu nedenle aslında kapasitesi daha yüksek ancak işlemciye daha uzak. Bu dezavantajları gidermek adına aslında Cowos adı verilen TSMC paketleri bu kadar önemli, Cowos paketleri HBM ve işlemcilerin birbiri ile maksimum iletişimde olmasını sağladıkları için özel fakat SRAM için böyle bir ihtiyaç söz konusu değil.
SRAM HBM’den daha üstün olduğu için mi ihtiyaç söz konusu değil? Aslında hayır, aradaki fark HBM’in daha yüksek kapasiteli ve model eğitimine daha uygun bir ürün olmasından kaynaklanıyor, SRAM ise daha basit bir mimariye sahip ama güçlü, bu nedenle inferencing için daha uygun. Nvidia, Groq ile yaptığı anlaşmanın ardından daha ucuz inferencing için bir ekleme yapacaktır ve daha ucuz model çalıştırma süreçleri için TPU ve diğer start up’lara bir yanıt vermiş olacaktır.
Stratejik olarak toparladığımızda şunu görüyoruz; daha ucuz olabilme potansiyeli olan inferecing süreçleri için Nvidia bir adım atıyor ve buradaki liderliği için ortaya çıkan tehditlerin önünü kesmek istiyor, bunu yaparken kullanacağı yeni mimari sayesinde TSMC ve hafıza üreticilerine olan bağımlılığını ve onların arz kısıtlarını da aşmak istiyor. Peki Nvidia Groq ile anlaşmayı sadece bir parçayı doğrudan eklemek için mi yaptı, bir sinerji yaratabileceklerini düşünmüyor mu? Elbette düşünüyor, bunu da NVLink gibi network hatları sayesine oluşturacakları komplike donanım setleri ve eşsiz esneklikteki CUDA ile sağlayacaklar. Rubin, hali hazırda inference için birçok ek parça barındıran benzersiz bir donanım olacak, bunu daha da ileriye taşıyor görünüyorlar. Groq LPU’larına ekleyecekleri Nvidia katmanı sayesinde de kar marjından taviz vermeden inference oyununu kendi ekosistemleri içerisinde bir ürün haline getirmeyi başaracaklarını düşünüyorlar diye tahmin ediyorum.
Bunun piyasa etkisi biraz enteresan olabilir, öncelikle Micron, SK Hynix, Samsung gibi HBM üreticilerini inference oyunundan biraz uzaklaştırma ihtimalleri var çünkü SRAM çiplerin içerisindeki gömülü bir parça olması nedeni ile bu alana yönelen Nvidia’nın HBM kullanım oranının bir miktar düşmesi muhtemel. Tabi ki tamamen vazgeçemeyeceklerdir ve HBM yok satacak ancak SRAM’in ölçeklenme sorununu kendi networking ekosistemi ile çözme niyetleri var ise, toplam değer zincirinde son dönemde hafıza oyuncularının kazandığı payın bir kısmını Nvidia geri alabilir. Bugün HBM’in toplam GPU ürünü içerisindeki payına baktığımızda büyük bir kısmı oluşturduğunu görebiliyoruz ve trilyon dolar değerinde bir endüstri fiyatlanması gerekiyor (SK Hynix ABD’ye açıldığında bence bu olacak), bu yeni eklemeler ile Nvidia biraz daha pay çalabilir.
Diğer bir konu ise Cowos konusu. HBM kullandığınız sürece Cowos ihtiyacınız var bu yüzden Cowos da yok satacaktır ancak SRAM odaklı çip üretiminde Intel de işin içerisine girebilir gibi görünüyor. Şirketin bu konuda uzun zamandır çalışmaları mevcut. Google ve Amazon için ise ürünleşme safhasında ne kadar problem çıkardığını göreceğiz, Google’ın donanım yazılım maliyet avantajına, Amazon’un ise altyapı ekosistemine bir darbe vurma niyeti olduğunu görebiliyoruz.
Stratejik açıdan Nvidia değer zincirindeki yerini kaybetmemek ve hatta genişletmek için potansiyel tehditlere saldırıyor gibi görünüyor. Cerebras IPO’su bu konuda bence önemli bir gösterge olacaktır ve Nvidia hafıza modülünü farklı kullanan bu alternatif şirketleri ne kadar sarsıyor orada göreceğiz. Gerçek kaybedenin ise bir süredir neredeyse yalnızca hafıza yoğunluğu yüksek küçük boyutlu iş güçlerinde rekabetçi olabilen AMD olacağını düşünüyorum, Helios onlar için çok önemli olacak ancak onun da ertelenme ihtimalinin konuşulduğunu okuyoruz.
Çok hareketli bir 2025 yılı oldu ve 2026 yılı ile birlikte artık inferencing yani model işletmenin ve çalıştırmanın, yazılım ve kodlama sektörü başta olmak üzere çok geniş bir business application hareketlenmesi yaşayacağımız kesin. Altyapı ve hardware oyuncuları da bu yeni döneme hazırlanıyorlar ve bu hareketliliğin ana nedeni bu. AI gerçek hayatta ne işimize yarıyor sorusuna 2026 yılında net cevaplar göreceğiz ve AI kullanımı artan farklı endüstrilerdeki şirketlerin çip oyuncularından daha hızlı değer kazandığı bir döneme yaklaşıyoruz, zannediyorum ki 2027 yılında da nelere cevap veremiyor konusunu daha çok konuşacağız. Fakat bu tartışma, 2026 yılına kalsa daha iyi olacak. Gelecek sene artık ana odağım Agentic AI süreçlerinin uzun adımlı iş görevlerindeki maliyetleri tarafında olacak, daha fazla finans tabiri kullanmamız gerekecektir bu da bir İşletme mezunu olarak beni mutlu ediyor.
Utku Oktay Acundeğer
