Popüler Yapay Zeka ChatGPT'nin IQ'su Düştü: Verdiği Cevaplar Gittikçe Kötüleşiyor

11
2
1
0
0
Bilim insanları, OpenAI'ın sohbet botu ChatGPT hakkında çarpıcı sonuçlara yer veren bir araştırma yayınladı. Botun geliştikçe daha kötü cevaplar verdiği ortaya kondu.

OpenAI’ın Kasım 2022’de piyasaya sürdüğü sohbet botu ChatGPT, yapabildikleriyle tüm dünyada viral olmayı başarmıştı. ChatGPT, günümüzde birçok mobil uygulamada kullanılmaya, özellikle müşteri temsilciliğinde aktör olarak yer almaya başladı.

ChatGPT’nin her güncellemeyle birlikte geliştiğini varsayıyor olsak da 18 Temmuz’da yayınlanan bir araştırma, ortaya ilginç sonuçlar koydu. Stanford ve Kaliforniya Üniversitelerinden bilim insanları, ChatGPT’nin her yeni dil modeliyle daha kötü cevaplar vermeye başladığını açıkladı.

Son sürüm GPT modellerinde başarısızlık oranı daha yüksek:

chatgpt

Araştırma ekibinde yer alan Lingjiao Chen, Matei Zaharia ve James Zou, ChatGPT’yi oluşturan dil modeli GPT’nin iki farklı versiyonunu ve ikişer sürümünü teste soktu: GPT-3.5 Mart/Haziran ve GPT-4 Mart/Haziran.

Testte, dil modeline birkaç matematik problemi ile hassas sorular soruldu. Kod yazımı ve girdiye yönelik muhakeme yürütmesi istendi. Özellikle sürümler arasındaki fark, fazlasıyla şaşırtıcıydı.

GPT-4’ün Mart sürümü, kendisine sunulan bir sayının asal sayı olup olmadığını %97,6 doğruluk oranıyla bilmeyi başardı. Aynı versiyonun Haziran sürümünde ise bu oran sadece %2,4 ile sınırlı kaldı.

chatgpt

Asal sayılarda GPT-3.5’in başarısı ise GPT-4 Mart’tan da daha iyiydi. GPT-3.5 Mart sürümü, asal sayıları aynı süre içinde daha yüksek doğrulukta biliyordu. Geliştikçe yaşanan benzer düşüşler kod yazımında da kendisini gösterdi.

İş hassas sorulara geldiğinde ise garip bir tablo oluştu. Mart sürümlerinde bot, kullanıcıya bir soruyu neden cevaplayamayacağını detaylı bir şekilde anlatıyordu. Haziran sürümlerinde ise sadece kullanıcıdan özür diliyor ve soruyu cevaplayamayacağını söylüyor.

ChatGPT’nin kabiliyetlerindeki düşüşün ardındaki nedeni, araştırmayı yapan ekip de belirleyemedi.

Kaynak : https://arxiv.org/pdf/2307.09009.pdf
11
2
1
0
0
Emoji İle Tepki Ver
11
2
1
0
0