Google'ın son dönemde amiral gemisi haline getirdiği yapay zeka modelleri Gemini 1.5 Pro ve 1.5 Flash'ın etkileyici veri işleme kapasitesi, şirketin öne çıkardığı en önemli özelliklerden biri. Ancak son araştırmalar, Gemini modellerinin aslında bu konuda pek de başarılı olmadığını ortaya koyuyor.
Yapılan iki ayrı çalışma, Gemini'nin devasa miktardaki veriyi anlamlandırma konusundaki performansını mercek altına aldı. Sonuçlar, Gemini 1.5 Pro ve 1.5 Flash'ın, uzun metinler ve büyük veri setleriyle başa çıkmakta zorlandığını gösteriyor. Testlerde Gemini modelleri, soruların yalnızca %40 ila %50'sini doğru yanıtlayabildi.
UMass Amherst'ten Marzena Karpinska, Gemini modellerinin teknik olarak uzun bağlamları işleyebildiğini, ancak içeriği gerçekten "anlamadığını" belirtiyor. UC Santa Barbara'dan Michael Saxon ise modellerin görüntüler üzerinde akıl yürütme konusunda bile zorlandığına dikkat çekiyor. Saxon, "Gemini gibi modellerin uzun bağlamla ne yapabileceğini sorgulamalıyız" diyor.
Her ne kadar araştırmalar henüz hakemli dergilerde yayınlanmamış ve en güncel Gemini sürümlerini test etmemiş olsa da, Google'ın Gemini'yi pazarlarken abartılı vaatlerde bulunduğu açık. Şirket, bağlam penceresini öne çıkarırken, modelin gerçek hayatta ne gibi faydalı işler yapabileceğini net bir şekilde ortaya koyamıyor.
Araştırmacılar, yapay zeka modellerinin gerçek yeteneklerinin daha iyi ölçülmesi ve üçüncü taraf değerlendirmelerin önemine vurgu yapıyor. Google'ın sık sık atıfta bulunduğu "samanlıkta iğne" testi bile modelin karmaşık soruları yanıtlama becerisini ölçmüyor. Saxon, "Araştırmacılar mevcut kıyaslama kültürünün sorunlu olduğu konusunda hemfikir. Kamuoyunun da bu devasa raporlardaki rakamları büyük bir şüpheyle karşılaması gerekiyor" diyor.
Gemini'nin uzun bağlam işleme konusunda beklentileri karşılayamaması, Google'ın yapay zeka alanındaki rekabette geride kalmasına neden olabilir. Şirketin, modelin gerçek yeteneklerini daha şeffaf bir şekilde ortaya koyması ve kullanıcılara somut faydalar sunması gerekiyor. Aksi takdirde, Gemini'nin parlak geleceği tehlikeye girebilir.
Gemini'nin Uzun Bağlam Penceresi Yetersiz Kalıyor
Yapılan iki ayrı çalışma, Gemini'nin devasa miktardaki veriyi anlamlandırma konusundaki performansını mercek altına aldı. Sonuçlar, Gemini 1.5 Pro ve 1.5 Flash'ın, uzun metinler ve büyük veri setleriyle başa çıkmakta zorlandığını gösteriyor. Testlerde Gemini modelleri, soruların yalnızca %40 ila %50'sini doğru yanıtlayabildi.
Araştırmacılar: "Gemini Büyük Resmi Göremiyor"
UMass Amherst'ten Marzena Karpinska, Gemini modellerinin teknik olarak uzun bağlamları işleyebildiğini, ancak içeriği gerçekten "anlamadığını" belirtiyor. UC Santa Barbara'dan Michael Saxon ise modellerin görüntüler üzerinde akıl yürütme konusunda bile zorlandığına dikkat çekiyor. Saxon, "Gemini gibi modellerin uzun bağlamla ne yapabileceğini sorgulamalıyız" diyor.
Google, Gemini'nin Yeteneklerini Abartıyor
Her ne kadar araştırmalar henüz hakemli dergilerde yayınlanmamış ve en güncel Gemini sürümlerini test etmemiş olsa da, Google'ın Gemini'yi pazarlarken abartılı vaatlerde bulunduğu açık. Şirket, bağlam penceresini öne çıkarırken, modelin gerçek hayatta ne gibi faydalı işler yapabileceğini net bir şekilde ortaya koyamıyor.
Yapay Zeka Alanında Şeffaflık ve Dürüstlük Şart
Araştırmacılar, yapay zeka modellerinin gerçek yeteneklerinin daha iyi ölçülmesi ve üçüncü taraf değerlendirmelerin önemine vurgu yapıyor. Google'ın sık sık atıfta bulunduğu "samanlıkta iğne" testi bile modelin karmaşık soruları yanıtlama becerisini ölçmüyor. Saxon, "Araştırmacılar mevcut kıyaslama kültürünün sorunlu olduğu konusunda hemfikir. Kamuoyunun da bu devasa raporlardaki rakamları büyük bir şüpheyle karşılaması gerekiyor" diyor.
Gemini'nin Geleceği Belirsiz
Gemini'nin uzun bağlam işleme konusunda beklentileri karşılayamaması, Google'ın yapay zeka alanındaki rekabette geride kalmasına neden olabilir. Şirketin, modelin gerçek yeteneklerini daha şeffaf bir şekilde ortaya koyması ve kullanıcılara somut faydalar sunması gerekiyor. Aksi takdirde, Gemini'nin parlak geleceği tehlikeye girebilir.