Yazılım sektörü çok önemli tartışmalara konu olan ve akıbeti belirsiz bir sektör olmuş durumda. AI tarafındaki gelişmeler sektörde kökten bir değişim mi yapacak yoksa mevcut oyuncular gücünü koruyacak mı piyasaların kesin yanıt bulabildiği bir soru gibi görünmüyor. AI tarafının kısa dönem tarihçesine bakarak bu konuya açıklık getirmeye çalışacağız
Sorumuz şu, bugün Chat GPT üzerinden bana bir CRM tool’u yaratmanı istiyorum dediğinizde Salesforce ürününün aynısını bize verebilecek olan GPT’den neden bunu istemiyoruz? Çünkü modeller ile basit kod yazılımında anlaşsak dahi bu modeller statik modeller ve özelleştirme yapacak kadar iyi anlaşamıyoruz, ürün geliştirme için ise gereken ayarlamaları yapamıyoruz ve veri ile ölçekleyemiyoruz
Peki bunların üstesinden gelecek miyiz? Biraz süreci takip edelim
Chat GPT’den başlayalım
Chat GPT ile bir çoklarımızın hayatına giren Gen AI, kısa süre içerisinde çok ciddi atılımların yaşandığı bir alan olmuş durumda. Bugün sektörde karşılaşılan tüm engelleri çözmek için onlarca şirket anında seferber oluyor, sebebi ise kazançların Open AI’dan görüleceği üzere çok büyük olması
Chat GPT, bir chatbot. GPT tabanlı çalışan bu yazılım bizlerle iletişim kurmak ve basit soru cevap yapmak için tasarlanmış bir ürün. Bu ürünün dediklerimizi anlama kabiliyeti hala daha büyüleyici olmaya devam ediyor ancak kullanım alanları tarafında çok güçlü bir ürün olduğunu söylemek kolay değil. Zaman içerisinde gördük ki kompleks sorularda adımlar halinde çözüm yaratmakta zorlanan, soru tipleri değiştikçe sıkıntı yaşayan bir yapı mevcut, peki neden?
Bunun aslında sebebi GPT benzeri LLM modellerinin nasıl eğitildiğinde gizli. Probabilistic Reasoning denen metodun kullanıldığı, yani alıştırma sürecinde öğretilmiş olan dinamiklere yeni gelen girdileri uydurarak en muhtemel sonucun hazırlandığı bir eğitim sürecinden geçiriliyor LLM modelleri. Yani eğitim sürecinde öğretilenlere oldukça bağımlı kalıyorlar, tıpkı bizlerin bir veri tahmini hazırlaması gibi. Geçmişte elimizde olan veriler ve trend üzerinden bir tahmin yapıyoruz ve yeni gelecek veri için de girdileri yine burada yarattığımız gerçekliğe göre tahmin ediyoruz, modeller de bu şekilde çalışıyor. Yani ellerindeki alıştırma sürecindeki model ve gerçeklik ile çalışıyorlar, bu da aslında reasoning yani mantık süreçlerinin biraz kısıtlı kalmasına neden oluyor.
Bu konu hakkında Open AI o1 modelini çıkardıktan sonra yapılmış birçok çalışma mevcut. Detayına girmeden anlatmak gerekirse modeller, sorunun soruluş şekli alıştığından farklılaştıkça, katmanlı düşünme gerektikçe ve arada bağlam ile alakasız girdiler yer aldıkça performans kaybediyor. Princeton ve Yale Üniversiteleri akademisyenleri tarafından yakın dönemde hazırlanan bir çalışma oldukça dikkat çekici. “Deciphering the Factors Influencing the Efficacy of Chain-of-Thought: Probability, Memorization, and Noisy Reasoning” adındaki çalışmada modelden Chain of Thought yöntemi ile “shift chipper” yapması isteniyor. Shift chipper, basit bir şifreleme metodu, alfabedeki harfleri bir rakam kadar kaydırmak anlamına geliyor. Örneğin “BABA” kelimesini 1 kere kaydırdığınızda “CBCB” kelimesini elde ediyorsunuz, iki kere kaydırdığınızda “ÇCÇC” şeklinde yazıyorsunuz. Kaydırma sayılarına göre modelin performansı görselde yer alıyor
Model, aşamalı düşünme sürecinde zorlandığı için az sayıda kaydırma yapıldığında zorlanmıyor ancak sayı arttıkça performansı ciddi şekilde düşüyor. Sonlara doğru tekrar yükselmesinin sebebi ise alfabedeki harf sayısından dolayı bir noktadan sonra tersten shift etmeye başlaması ile ilgili. Çok enteresan olan ise 13 kaydırmadaki başarısı. Bunun nedeni, normalde bu kaydırma işleminin herkes tarafından 13 olarak yapılması ve kullanılması imiş. Bu nedenle model elindeki hazırlık sürecinde edindiği veride 13 olarak çalışmış ve 13 geldiği zaman katmanlardan bağımsız çok iyi performans gösteriyor, ancak 12 veya 14’te aynı güce sahip değil. Bu tarz birçok analizden modelin alıştığının dışına çıktığında zorlandığını görebiliyoruz
Buradaki tartışmayı aşmak adına Open AI o1 modelini çıkardı ve mantık süreçlerinin en gelişmiş olduğu ürünü yarattı. Bu model hakkında yazdığımız yazıda çok önemli tartışmalar başlatacağına değinmiştik ve gerçekten akademi tarafında birçok çalışma bu ürünün ardından yapıldı. O1 modeli performans olarak GPT modellerine göre bağlamdan kopuk içerikleri yorumlama tarafında 2 kat daha başarılı bir model. Yani şu şekilde anlatabiliriz; normalde LLM modelleri 4-1, 5-2 işlemlerini öğreniyor ancak çıkarma işleminin mantığını öğrenmediği için elimde 5 kalem vardı 4 tanesi kırıldı kaç adet kalem kaldı sorusuna cevap vermekte zorlanıyor. O1 modeli bu alanda önemli bir adım oldu, artık bu sorularda daha iyi mantık kurabiliyor ve bağlam dışı, ters veya devrik yazılmış cümleleri çok daha iyi anlayabiliyor. Yani artık modeller ile daha iyi anlaşabiliyoruz ve ileride daha da iyi anlaşacağız.
Bu süre zarfında kurumsal kullanım için şirketler ellerindeki verilere uyarlanmış GPT modelleri istediler ancak her seferinde yeni veri ekleyerek ince ayar yapmak pek mümkün değildi. Yeni veri eklenince modellerin yenilenmesi gerekiyordu. Buna çözüm olarak da RAG denen süreçler geliştirildi. RAG yani Retrieval Augmented Generation süreçleri, yazılarımızda bahsettiğimiz bir süreç. Bu süreçler RAG yazılımları sizin belirlediğiniz veri tabanına ulaşıyor ve bu veri tabanından veriyi çekerek LLM modeline veriyor, girdiyi yorumlarken bu verinin kullanılmasını ve LLM modelinin o veriyi de işin içerisine katmasını sağlıyor. Bu çözüm ile LLM modellerinin statikliği bir miktar çözüldü ancak tam olarak değil, çünkü RAG modelleri hangi verinin önemli hangisinin önemsiz olduğunu anlayamadı. Örneğin X müşteriye en son ne kadarlık bir satış yapıldı dediğinizde basit RAG modelleri Outlook, Teams ve CRM verileri arasında kayboldu ve bağlamı anlayamadığı için nereden öncelikli olarak veri çekmesi gerektiğini çözemedi, neticesinde de LLM modellerini iyi besleyemedi. Ayrıca kurumsal talepler chatbottan daha komplike olduğu için LLM modelleri katmanlı çözüm üretemediği, kullanıcı chain of thought (prompt engineering videosunda detaylı anlattık) yöntemi ile kendisi katmanları tek tek ayırması gerektiği görüldü. Buna ise cevap gecikmedi ve Langchain yapıları türedi. Langchain yapıları, ortaya bir AI Agent koydu, bu Agent’ın görevi, sorulan soruyu LLM modeline en verimli şekilde anlatmak için gerek chain though yöntemini uygulamak ve LLM modeline uygun soruları uygun şekilde sormak, RAG ile bağlantısını bu şekilde daha verimli şekilde sağlamak oldu. Bunu yaparken farklı modeller farklı alanlarda güçlü olduğu için, birden çok modeli de optimize ederek hepsinden faydalanmayı da ihmal etmedi. Agent’lar gerçekten çok büyük bir atılım oldu ve bizim de beklentilerimize paralel bugün artık hakim uygulama olmuş durumdalar, yazı ve videolarımız takip edenler zaten bu duruma şaşırmamıştır. Ancak bu durumda hala RAG sorunu çözülemedi ve veri çekme tarafındaki sorun aşılamadı ve ölçeklenme sorunu devam etti.
Burada yine agent’lar devreye girdi ve Agentic RAG dediğimiz uygulama açığa çıktı. Bu şekilde RAG süreçleri için de birer agent atadı ve bu agentlar, yapının merkezinde yer alan agentlar ile konuşarak bağlam konusunda daha çok bilgi sahibi oldu, buna göre ağırlıklandırılmış bir veri arayışına girdi ve demin verdiğimiz örnekte CRM datasına ulaşması gerektiğini anladı. Yani RAG, mantık kazandı. Bu adım da çok önemli zıplamalara neden olacak, LLM modellerinin ölçeklenme ve statik kalma sorunlarına çok önemli bir çözüm getirmiş oldu.
Soruların cevaplarını kısmen vermiş olduk. Her gün bu alanda yeni gelişmeler oluyor ve hem ölçeklenme ve veriye ayak uydurma, hem de kirli girdileri temizleyip mantık süreçlerini artırma tarafı hızlıca ilerliyor. Burada artık kaliteli Agent’ları konuşuyoruz ve agentlar LLM modelleri ile aramıza girerek çok daha verimli bir kullanım sağlıyorlar.
Peki burada Software şirketleri için tehdit unsuru olan nedir? Bu modelleri kendi platformlarına ekleyemezler mi? Burada Open AI vizyonu üzerine biraz konuşmak gerekiyor
Görselde görüldüğü üzere Open AI vizyonun 3. Aşama agentlar, 4. Aşama inovasyona katılan AI ve son aşamada tüm şirketin operasyonunu üstlenebilen bir AI. Bu vizyon bizim de AI hikayesinin ilk çıktığı günlerden beri anlatmak istediğimiz konunun ta kendisi. AI sayesinde hem sizinle çok daha rahat iletişim kuracak hem de veri ile tam verimli şekilde kendisini güncelleyebilecek bir AI var ise, o zaman en baştaki sorunun cevabı evet olacak, yani CRM yazılımı yarat diye komut vermek mümkün hale gelecek.
Şimdiden bu şirketlerin kendileri inşa etme yoluna gidecek mi bundan henüz emin olmadığımızı söylememiz gerekiyor. Open AI ve Anthropic AI şirketleri bu konuda önemli adımlar atıyorlar ve tamamen kurumsal yazılım hattını oluşturabilecek hatlar oluşturmaya çalışıyorlar. Bu konuda bize agentların geldiği son noktayı gösteren ürün belki de Anthropic şirketinin beta sürümünü tanıttığı “Computer Use” ürünü oldu. Ürün, yalnızca agenta verilen komuta dayanıyor, komutu alan agent, bizler gibi bilgisayarı kullanarak planını yapıyor ve işlemi normal insanların izlediği adımlar ile gerçekleştiriyor. Burada insanların adımlarını taklit etmesi elbette robotik sektöründe tartışma ile paralel, yani insanları için tasarlanmış ekosistemde insana benzemek insan işleri yaptırmak için en verimlisi olacak. Ancak bunun tamamen arka planda ve seri halde gerçekleştirilebilen hali, modellerin filmlerdeki gibi birer kişisel asistana dönüşmesini sağlayacaktır. Tabi bu senaryoda bu agentlara fatura gir, stok süreçlerini yönet ve raporla, ara bilanço hazırla gibi taleplerinizin artık ne kadar basit göründüğünü sanırım görebiliyoruz…
Bu aşamaya gelene kadar ne kadar yolumuz var bilemiyoruz ancak şu anda Agent tarafı çok hareketli. Agentlar sayesinde kurumun tüm veri tabanı hareket edebiliyor ve tek merkezden ölçeklenebiliyor. Bu sayede tüm hizmetleri veren software şirketleri yaratmak da mümkün hal geliyor. Startup dilinde compound startup olarak geçen şirket grupları türemeye başladı. Bu şirket gruplarının özellikleri spesifik bir üründe hizmet vermek yerine komple bir software hizmeti ve altyapısını gerçekleştirmek ve ölçeklendirme yoluyla avantaj kazanmak. Glean AI ve Rippling gibi şirketlere baktığımızda artık burada oyuncular var ve bu şirketler tüm verileri yönlendiren, bizlerle ana teması kuran agent olmak yolundalar. ServiceNow bu konuda büyüklerden en başarılı olan ve agent mantığını temele yerleştirmiş belki de tek oyuncu. Şirketler artık operasyondan satışa, satıştan finansa, finanstan pazarlamaya her türlü toolu içerisinde barındırma gücüne AI sayesinde sahipler. Bu durumda CRM çözümleri gibi çözümlerin hepsi birer point solution olarak kaybolma tehlikesindeler.
Bugün Salesforce, Snowflake, Adobe, Workday gibi şirketlerin hepsi agent ve AI desteğini arttırmaya çalışıyor. Ancak yeni kurulacak olan compound startuplar gelecek sene daha da rahat ölçeklenebilir olacaklar ve muhtemelen bu alanda seslerini daha çok duyacağız. Bu senaryoda o dev yapılar değişmeye çalışırken neredeyse tüm süreçleri tek başına yönetme iddasında ve becerisinde olan agentlar belki de işi tamamen bitirmiş olacaklar. Bazı şirketlerden CRM desteğini azaltma yönünde haberler duyuyor olsak da henüz erken olabilir, ancak çok uzak değil. Bu şirketlerin churn(müşteri kayıp) oranlarını dikkat ile izleyeceğiz
AI, software sektörü için oldukça yıkıcı etkiler yaratacaktır. Yolun sonunda insana ihtiyaç duymayan şirketler göreceğiz. Kurumsal yapılarda ve organizasyon şemalarının çoğunda AI etkisini değil, AI’ın tamamen yıkıp yerlerini aldığını göreceğiz. Yeni isimlerin artık daha şiddetli tartışıldı bir döneme gireceğiz. Videolarımızda dediğimiz gibi, Pandora’nın kutusu açıldı…
Utku Oktay Acundeğer
