M
Mehmet
Misafir
Yazılım geliştirmede “vibe coding” olarak adlandırılan, akıllı sistem araçlarını kullanarak otomatik kod üretme trendi yaygınlaşıyor. Ancak yeni bir araştırma, bu şekilde oluşturulan kodların güvenli olmayabileceğini ortaya koydu ve geliştiricilerin hangi araçları kullanması gerektiği konusunda soru işaretleri yarattı.
Uygulama güvenliği şirketi Backslash Security, aralarında OpenAI’nin GPT, Anthropic’in Claude ve Google’ın Gemini modellerinin bulunduğu yedi farklı akıllı sistemi test etti. Araştırmacılar, günlük kullanım senaryoları için (örneğin ‘Geri bildirim için yorum bölümü ekle’ gibi) kod üretmelerini isteyerek ortaya çıkan kodun güvenliğini inceledi.
Kod üretmek için ‘basit’ten ‘kapsamlı’ya kadar üç farklı seviyede komut (istem) kullandılar ve çıkan kodları on yaygın güvenlik zafiyeti türüne (CWE olarak bilinen liste) karşı test ettiler.
‘Basit’ komutlarla üretilen kodların tamamının güvenli olmadığı ve test edilen on yaygın zafiyetten en az dördüne karşı savunmasız olduğu tespit edildi. Güvenlik gereksinimlerini genel olarak belirten komutlar daha güvenli sonuçlar verdi.
Web uygulamaları için güvenlik standartlarına (OWASP en iyi uygulamaları) uyması istenen kodlar daha iyi performans gösterdi. Buna rağmen, test edilen yedi modelin beşinde bu komutlarla bile kod zafiyetleri bulundu.
Backslash Security’nin kurucu ortağı Yossi Pik, “Güvenlik ekipleri için akıllı sistemlerle üretilen kodlar bir kabus gibi gelebilir” dedi. Pik, bunun çok sayıda yeni kod oluşturduğunu ve bu sistemlerin hatalı veya komut hassasiyeti gibi riskleri beraberinde getirdiğini belirtti.
Genel olarak, OpenAI’nin GPT-4o modeli her seviyede en kötü performansı sergiledi. Basit komutlarla güvenli kod sonuçlarında on üzerinden sadece bir puan aldı ve güvenli kod üretmesi istendiğinde bile, on zafiyet türünün sekizine karşı savunmasız çıktılar üretti.
GPT-4.1, basit komutlarla biraz daha iyi performans göstererek on üzerinden 1.5 puan aldı. Dikkat çekici şekilde, en iyi performansı Claude 3.7 Sonnet gösterdi. Basit komutlarla on üzerinden altı puan alırken, güvenlik odaklı komutlarla on üzerinden on puan aldı.
Araştırmacılar, geliştiricilerin her komuta güvenlik unsurlarını dahil etmemesi durumunda, zamanın yüzde 40 ila yüzde 90’ında güvenli olmayan ve zafiyetler içeren kod alma olasılığının bulunduğunu buldu.
Araştırmacılar, nispeten basit çalışmalarının, akıllı sistemlerle kod yazma ve akıllı sistem destekli kod araçlarının güvenli kod üretme olgunluğu açısından hala başlangıç aşamasında olduğunu gösterdiğini belirttiler.
“Sadece geliştiricilerin güvenlik istemesini veya bunu en etkili şekilde yapmasını bekleyemeyiz. Geliştiriciler hala komut mühendisliğini öğreniyorlar ve güvenlik uzmanı olmaları beklenmiyor, bırakın güvenlik komut uzmanı olmayı,” diye eklediler.
Akıllı sistemle üretilen kodlarla ilgili endişeler bir süredir artıyor; hem geliştiriciler hem de güvenlik uzmanları farklı sonuçlar bildiriyor. Geçtiğimiz Eylül ayında yapılan bir araştırmada, İngiltere, ABD ve Almanya’daki güvenlik liderlerinin neredeyse tamamının akıllı sistemle üretilen kodların bir güvenlik ihlaline yol açabileceğinden endişe duyduğu ortaya çıkmıştı.
Güvenlik liderlerinin yüzde 92’si, bu sistemlerle üretilen kodun bütünlüğünü ve bu araçlar kullanılırken denetim eksikliğini sorguladıklarını belirtti.
Bu endişelere rağmen, akıllı sistemle üretilen kodlar kurumsal geliştirme uygulamalarında giderek daha yaygın hale geliyor. Katılımcıların yüzde 83’ünden fazlası kod üretmek için zaten bu sistemleri kullandığını, yüzde 57’sinden fazlası ise kodlamada bu sistemlerin kullanımının standart bir uygulama haline geldiğini söyledi.
Bazı büyük sektör oyuncuları, Google da dahil olmak üzere, akıllı sistemle kod üretme potansiyeli konusunda iyimser. Geçtiğimiz Kasım ayında Google CEO’su Sundar Pichai, Google’ın dahili kaynak kodunun yüzde 25’inin artık akıllı sistemler tarafından üretildiğini açıklamıştı.
Pichai, teknoloji devinin üretkenliği ve verimliliği artırmak için geliştirme ekiplerinde bu sistemlerin kullanımını hızlandırdığını, ancak bu sistemlerle üretilen herhangi bir kodun yine de sıkı insan onayına tabi olduğunu vurguladığını söyledi.
Akıllı Sistemlerle Kod Yazma Trendi Güvenlik Riskleri Taşıyor: Yeni Araştırma yazısı ilk önce BeeTekno yayınlanmıştır.
Okumaya devam et...
Araştırma Güvenlik Durumunu Test Etti
Uygulama güvenliği şirketi Backslash Security, aralarında OpenAI’nin GPT, Anthropic’in Claude ve Google’ın Gemini modellerinin bulunduğu yedi farklı akıllı sistemi test etti. Araştırmacılar, günlük kullanım senaryoları için (örneğin ‘Geri bildirim için yorum bölümü ekle’ gibi) kod üretmelerini isteyerek ortaya çıkan kodun güvenliğini inceledi.
Kod üretmek için ‘basit’ten ‘kapsamlı’ya kadar üç farklı seviyede komut (istem) kullandılar ve çıkan kodları on yaygın güvenlik zafiyeti türüne (CWE olarak bilinen liste) karşı test ettiler.
Basit Komutlarla Güvenlik Zayıf Kalıyor
‘Basit’ komutlarla üretilen kodların tamamının güvenli olmadığı ve test edilen on yaygın zafiyetten en az dördüne karşı savunmasız olduğu tespit edildi. Güvenlik gereksinimlerini genel olarak belirten komutlar daha güvenli sonuçlar verdi.
Web uygulamaları için güvenlik standartlarına (OWASP en iyi uygulamaları) uyması istenen kodlar daha iyi performans gösterdi. Buna rağmen, test edilen yedi modelin beşinde bu komutlarla bile kod zafiyetleri bulundu.
Backslash Security’nin kurucu ortağı Yossi Pik, “Güvenlik ekipleri için akıllı sistemlerle üretilen kodlar bir kabus gibi gelebilir” dedi. Pik, bunun çok sayıda yeni kod oluşturduğunu ve bu sistemlerin hatalı veya komut hassasiyeti gibi riskleri beraberinde getirdiğini belirtti.
En İyi ve En Kötü Performans Gösteren Modeller Belirlendi
Genel olarak, OpenAI’nin GPT-4o modeli her seviyede en kötü performansı sergiledi. Basit komutlarla güvenli kod sonuçlarında on üzerinden sadece bir puan aldı ve güvenli kod üretmesi istendiğinde bile, on zafiyet türünün sekizine karşı savunmasız çıktılar üretti.
GPT-4.1, basit komutlarla biraz daha iyi performans göstererek on üzerinden 1.5 puan aldı. Dikkat çekici şekilde, en iyi performansı Claude 3.7 Sonnet gösterdi. Basit komutlarla on üzerinden altı puan alırken, güvenlik odaklı komutlarla on üzerinden on puan aldı.
Araştırmacılar, geliştiricilerin her komuta güvenlik unsurlarını dahil etmemesi durumunda, zamanın yüzde 40 ila yüzde 90’ında güvenli olmayan ve zafiyetler içeren kod alma olasılığının bulunduğunu buldu.
Araştırmacılar, nispeten basit çalışmalarının, akıllı sistemlerle kod yazma ve akıllı sistem destekli kod araçlarının güvenli kod üretme olgunluğu açısından hala başlangıç aşamasında olduğunu gösterdiğini belirttiler.
“Sadece geliştiricilerin güvenlik istemesini veya bunu en etkili şekilde yapmasını bekleyemeyiz. Geliştiriciler hala komut mühendisliğini öğreniyorlar ve güvenlik uzmanı olmaları beklenmiyor, bırakın güvenlik komut uzmanı olmayı,” diye eklediler.
Akıllı Sistemle Kod Üretimi Yaygınlaşıyor Ancak Endişeler Sürüyor
Akıllı sistemle üretilen kodlarla ilgili endişeler bir süredir artıyor; hem geliştiriciler hem de güvenlik uzmanları farklı sonuçlar bildiriyor. Geçtiğimiz Eylül ayında yapılan bir araştırmada, İngiltere, ABD ve Almanya’daki güvenlik liderlerinin neredeyse tamamının akıllı sistemle üretilen kodların bir güvenlik ihlaline yol açabileceğinden endişe duyduğu ortaya çıkmıştı.
Güvenlik liderlerinin yüzde 92’si, bu sistemlerle üretilen kodun bütünlüğünü ve bu araçlar kullanılırken denetim eksikliğini sorguladıklarını belirtti.
Bu endişelere rağmen, akıllı sistemle üretilen kodlar kurumsal geliştirme uygulamalarında giderek daha yaygın hale geliyor. Katılımcıların yüzde 83’ünden fazlası kod üretmek için zaten bu sistemleri kullandığını, yüzde 57’sinden fazlası ise kodlamada bu sistemlerin kullanımının standart bir uygulama haline geldiğini söyledi.
Bazı büyük sektör oyuncuları, Google da dahil olmak üzere, akıllı sistemle kod üretme potansiyeli konusunda iyimser. Geçtiğimiz Kasım ayında Google CEO’su Sundar Pichai, Google’ın dahili kaynak kodunun yüzde 25’inin artık akıllı sistemler tarafından üretildiğini açıklamıştı.
Pichai, teknoloji devinin üretkenliği ve verimliliği artırmak için geliştirme ekiplerinde bu sistemlerin kullanımını hızlandırdığını, ancak bu sistemlerle üretilen herhangi bir kodun yine de sıkı insan onayına tabi olduğunu vurguladığını söyledi.
Akıllı Sistemlerle Kod Yazma Trendi Güvenlik Riskleri Taşıyor: Yeni Araştırma yazısı ilk önce BeeTekno yayınlanmıştır.
Okumaya devam et...
