M
Mehmet
Misafir
Microsoft AI, karmaşık akıl yürütme görevlerinde yüksek performans göstermesi amacıyla geliştirdiği yeni Phi-4 akıl yürütme (reasoning) model ailesini duyurdu. 14 milyar parametrelik Phi-4 temel modelinden türetilen Phi-4-reasoning ve Phi-4-reasoning-plus modelleri, açık ağırlık (open-weight) lisansıyla araştırmacıların ve geliştiricilerin kullanımına sunuldu.
Büyük dil modellerindeki (LLM) genel ilerlemelere rağmen, matematiksel problem çözme, algoritmik planlama veya kodlama gibi yoğun akıl yürütme gerektiren görevlerdeki performans, genellikle model boyutu, eğitim metodolojisi ve çıkarım zamanı yetenekleri tarafından kısıtlanmaktadır. Microsoft, bu sınırlamaları aşmak ve özellikle çok adımlı çıkarım yapabilen daha küçük boyutlu modeller geliştirmek amacıyla 14 milyar parametrelik Phi-4 tabanlı yeni modellerini tanıttı. Bu modeller, özellikle matematik, bilimsel alanlar ve yazılımla ilgili problem çözmede karmaşık akıl yürütme yeteneklerini geliştirmek üzere optimize edildi.
Phi-4 akıl yürütme modellerinin geliştirilmesinde hedefe yönelik eğitim yöntemleri ve mimari iyileştirmeler kullanıldı. Başlıca teknikler şunlardır:
Yapılan değerlendirmelerde, Phi-4-reasoning ve Phi-4-reasoning-plus modelleri, çeşitli akıl yürütme kıyaslamalarında (benchmark) kendilerinden önemli ölçüde daha büyük açık ağırlıklı modellere göre rekabetçi sonuçlar sergiledi. Phi-4-reasoning-plus, özellikle bu alanlarda doğrudan eğitilmemiş olmasına rağmen, Gezgin Satıcı Problemi (TSP) ve 3SAT gibi planlama ve kombinatoryal problemlere de başarılı bir şekilde genelleme yapabildiğini gösterdi. Ayrıca, talimat takip etme (IFEval) ve uzun bağlamlı soru-cevap (FlenQA) gibi alanlarda da performans artışları kaydedildi. Microsoft, modellerin performans tutarlılığının (farklı çalıştırmalardaki sonuçların varyansı) AIME 2025 gibi zorlu veri setlerinde o3-mini gibi modellerle benzer veya daha iyi seviyede olduğunu belirtti.
Microsoft, Phi-4 akıl yürütme modellerini, şeffaflık ve tekrarlanabilirlik amacıyla eğitim detayları ve değerlendirme kayıtlarıyla birlikte açık ağırlık lisansı altında Hugging Face platformunda yayınladı. Bu gelişme, 14 milyar parametre gibi daha küçük ölçekli modellerin dahi, doğru eğitim ve metodoloji ile karmaşık akıl yürütme görevlerinde büyük modellere rakip olabileceğini veya onları geçebileceğini gösteriyor. Bu durum, özellikle yorumlanabilirlik, dağıtım maliyeti ve güvenilirliğin öncelikli olduğu eğitim, mühendislik ve karar destek sistemleri gibi uygulamalı alanlar için önem taşıyor. Microsoft’un gelecek planları arasında, modellerin akıl yürütme yeteneklerini diğer STEM (Bilim, Teknoloji, Mühendislik, Matematik) alanlarına genişletmek ve daha gelişmiş çıkarım stratejileri keşfetmek yer alıyor.
Microsoft, Karmaşık Akıl Yürütme İçin Yeni Phi-4 Modellerini Açık Kaynak Olarak Yayınladı yazısı ilk önce BeeTekno | Güncel Teknoloji Haberleri ve İncelemeler yayınlanmıştır.
Okumaya devam et...
Yeni Modeller Karmaşık Akıl Yürütme Görevleri İçin Geliştirildi
Büyük dil modellerindeki (LLM) genel ilerlemelere rağmen, matematiksel problem çözme, algoritmik planlama veya kodlama gibi yoğun akıl yürütme gerektiren görevlerdeki performans, genellikle model boyutu, eğitim metodolojisi ve çıkarım zamanı yetenekleri tarafından kısıtlanmaktadır. Microsoft, bu sınırlamaları aşmak ve özellikle çok adımlı çıkarım yapabilen daha küçük boyutlu modeller geliştirmek amacıyla 14 milyar parametrelik Phi-4 tabanlı yeni modellerini tanıttı. Bu modeller, özellikle matematik, bilimsel alanlar ve yazılımla ilgili problem çözmede karmaşık akıl yürütme yeteneklerini geliştirmek üzere optimize edildi.
Özel Eğitim Yöntemleri ve Teknik İyileştirmeler Uygulandı
Phi-4 akıl yürütme modellerinin geliştirilmesinde hedefe yönelik eğitim yöntemleri ve mimari iyileştirmeler kullanıldı. Başlıca teknikler şunlardır:
- Yapılandırılmış Denetimli İnce Ayar (SFT): Modeller, olgusal bilgiden ziyade çok adımlı akıl yürütmeyi öne çıkaran, özellikle Phi-4’ün temel yeteneklerinin sınırında yer alan (“boundary cases”) 1.4 milyondan fazla problem içeren bir veri setiyle ince ayarlandı. Yanıtlar, yüksek akıl yürütme modunda çalışan o3-mini modeli kullanılarak sentetik olarak üretildi.
- Düşünce Zinciri (Chain-of-Thought) Formatı: Modelin akıl yürütme adımlarını nihai cevaptan ayırmasını teşvik etmek amacıyla, eğitim sırasında belirgin
<think>etiketleri kullanılarak yapılandırılmış çıktı üretmesi sağlandı. - Genişletilmiş Bağlam Penceresi: RoPE (Rotary Position Embedding) temel frekansı değiştirilerek modelin 32.000 token’lık bir bağlam penceresini desteklemesi sağlandı. Bu, özellikle çok turlu veya uzun formattaki sorularda daha derin çözüm izlerine olanak tanıyor.
- Pekiştirmeli Öğrenme (Phi-4-reasoning-plus için): Phi-4-reasoning-plus modeli, özellikle yarışma seviyesi matematik gibi yüksek varyanslı görevlerde performansı artırmak amacıyla, yaklaşık 6.400 matematik probleminden oluşan özel bir set üzerinde Grup Göreceli Politika Optimizasyonu (GRPO) tekniği ile daha da iyileştirildi. Ödül fonksiyonu, doğru, öz ve iyi yapılandırılmış çıktıları teşvik ederken, gereksiz ayrıntıyı, tekrarları ve format ihlallerini cezalandıracak şekilde tasarlandı.
Küçük Boyuta Rağmen Kıyaslamalarda Yüksek Başarı Gösterdi
Yapılan değerlendirmelerde, Phi-4-reasoning ve Phi-4-reasoning-plus modelleri, çeşitli akıl yürütme kıyaslamalarında (benchmark) kendilerinden önemli ölçüde daha büyük açık ağırlıklı modellere göre rekabetçi sonuçlar sergiledi. Phi-4-reasoning-plus, özellikle bu alanlarda doğrudan eğitilmemiş olmasına rağmen, Gezgin Satıcı Problemi (TSP) ve 3SAT gibi planlama ve kombinatoryal problemlere de başarılı bir şekilde genelleme yapabildiğini gösterdi. Ayrıca, talimat takip etme (IFEval) ve uzun bağlamlı soru-cevap (FlenQA) gibi alanlarda da performans artışları kaydedildi. Microsoft, modellerin performans tutarlılığının (farklı çalıştırmalardaki sonuçların varyansı) AIME 2025 gibi zorlu veri setlerinde o3-mini gibi modellerle benzer veya daha iyi seviyede olduğunu belirtti.
Modeller Açık Ağırlık Lisansıyla Hugging Face Üzerinden Paylaşıldı
Microsoft, Phi-4 akıl yürütme modellerini, şeffaflık ve tekrarlanabilirlik amacıyla eğitim detayları ve değerlendirme kayıtlarıyla birlikte açık ağırlık lisansı altında Hugging Face platformunda yayınladı. Bu gelişme, 14 milyar parametre gibi daha küçük ölçekli modellerin dahi, doğru eğitim ve metodoloji ile karmaşık akıl yürütme görevlerinde büyük modellere rakip olabileceğini veya onları geçebileceğini gösteriyor. Bu durum, özellikle yorumlanabilirlik, dağıtım maliyeti ve güvenilirliğin öncelikli olduğu eğitim, mühendislik ve karar destek sistemleri gibi uygulamalı alanlar için önem taşıyor. Microsoft’un gelecek planları arasında, modellerin akıl yürütme yeteneklerini diğer STEM (Bilim, Teknoloji, Mühendislik, Matematik) alanlarına genişletmek ve daha gelişmiş çıkarım stratejileri keşfetmek yer alıyor.
Microsoft, Karmaşık Akıl Yürütme İçin Yeni Phi-4 Modellerini Açık Kaynak Olarak Yayınladı yazısı ilk önce BeeTekno | Güncel Teknoloji Haberleri ve İncelemeler yayınlanmıştır.
Okumaya devam et...
14 milyar parametreyle bile bu denli başarılı sonuçlar elde edilmesi çok heyecan verici. Özellikle açık kaynak olması, araştırmacılar ve geliştiriciler için inanılmaz bir fırsat. SFT, Chain-of-Thought gibi tekniklerin kullanılması da modelin başarısına büyük katkı sağlamış gibi görünüyor. 32.000 token'lık bağlam penceresi de oldukça etkileyici. Phi-4 modellerinin gelecekteki gelişmeleri de merakla bekliyorum. Bu paylaşım için teşekkürler