Yapay Zekâ ChatGPT'ye ÖSYM Tarzı Sınav Soruları Hazırlattık: Kendi Sorusunu Çözmeye Çalışırken Devreleri Yandı!

21
2
1
1
0
Günümüzde yapay zekâ uygulamaları sadece basit görevlerde değil, karmaşık düşünme ve analiz gerektiren işlerde de bizi şaşırtmaya devam ediyor. Peki ÖSYM için sınav sorusu hazırlayabilecek kadar güvenilir mi?

Yakın zamanda ÖSYM Başkanı, "Sınav sorularını yapay zekâ oluşturacak." şeklinde bir açıklama yapmıştı. Başkan, insan faktörünün arka plana atılmayacağını belirtmiş olsa da akıllarda pek çok soru işareti olacak gibi görünüyor.

Biz de sizler için günümüzdeki en popüler yapay zekâ aracı olan ChatGPT 4'e ÖSYM tarzı sorular hazırlattık ve cevaplarını istedik. Ardından da çıkan sonuçları bir öğretmenimize sorduk. Gelin bakalım ne tür sonuçlar çıkmış birlikte tartışalım:

Öncelikle ÖSYM web sitesinden 2021-AYT/Fen Bilimleri sorusunun görselini ChatGPT'ye vererek kendisinden benzer bir soru yapmasını istedik:

Chatgpt4 yapay zeka ayt fen bilimleri sorusu

Not: ÖSYM, kendi hazırladığı soruyu hiçbir yerde paylaşmaya izin vermediği için sansürlemek durumundayız.

Ardından da ChatGPT bizlere şöyle bir soru hazırladı:

chatgpt4 ayt-fen bilimleri sorusu

Aslında bakıldığında çok iyi hazırlanmış gibi duruyor, öyle değil mi? Örnek olarak attığımız soruyu, sansürlediğimiz için belki göremediniz ama neredeyse ona çok benzer bir soru hazırladı. Hatta tablosuna kadar dikkat edip özgün bir soru oluşturdu. Peki gerçekten göründüğü kadar iyi mi?

Hazırladığı bu soruyu detaylı bir şekilde çözmesini ve ardından da cevabı istedik:

Chatgpt 4 ayt-fen bilimleri Sorusu Cevabı

Özet geçecek olursak: "Birbirini işaret eden Spider-Man" diyebiliriz çünkü kendisi cevabı "20" buldu. Hem de bir değil iki kez çözdü ve yine aynı sonuca ulaştı. İlkinde cevabı bulduktan sonra bu cevabın seçeneklerde olmadığını fark etti ve kendi kendine çelişkiye düşüp "Soruda bu seçenek yok, o yüzden çözümde hata olmalı." dedi ve tekrar çözmeye başladı.

Birbirini işaret eden örümcek adam meme

Uzunca bir süre beynini yorduktan sonra cevabı tekrardan "20" buldu ve "Soru hatalı veya yazım hatası var." deyip kendi kendine laf attı. İçimizden "Yahu soruyu sen hazırladın, nasıl soru hatalı olabilir?" dedik ve bayağı güldük. İşin komik bir tarafı daha var...

Bulduğu "20" cevabını teyit etmek amacıyla Kimya Öğretmeni Muzaffer Baz hocamıza ulaştık ve kendisi bize şöyle bir cevap verince daha da şaşırdık:

Kimya Öğretmeni Heisenberg

"Şimdi sorunun başında bir kere mantık hatası var. Soru kökünde başlangıç kısmı tam belirgin değil. İlk başta çözelti var mı, yok mu? Yoksa suya 40 g tuz ekleyince mi doygun oluyor? Bunların hiçbiri belirtilmemiş. Ben ilk başta çözeltide tuz varmış gibi düşünerek soruyu çözdüm ve sonuç 1300/85=15,29 çıktı ve tam sayı çıkmadı."

Yapay zekânın cevabı yanlış bulmasının sebebi muhtemelen hocamızın da dediği gibi sorunun hatalı olmasından kaynaklı. Çünkü yukarı çıkıp birazcık okursanız kendisi de varsayım üzerinden çözmeye çalışmış ve kafası karışmış. Ek olarak hocamız, yapay zekâ ile soru hazırlanmasına karşın şöyle cevaplarda da bulundu:

"Soruların yapay zekâ​ ile değil de insan eliyle oluşturulması gerekiyor çünkü soruyu çözümleyecek olan kişi, insan. Bu sebeple daha anlaşılır bir dille öğrencilere sorular sorulması gerekiyor. Öğrencinin kafasını karıştırabilecek, ne istediğini düzgün bir biçimde anlatamayan sorular, kaliteli değildir. Ayrıca bu sistemle yapılan bir sınavda zorluk seviyesi de belirlenemeyebilir. Her şeyi hesaba kattığımızda şu anki hâli ile yapay zekânın hiçbir şekilde soru hazırlaması mümkün gözükmüyor. Ha tabii ki ileride insan eliyle bir soru havuzu oluşturulur ve bu soru havuzuyla eğitilen bir yapay zekâ​ soru oluşturursa daha kapsayıcı, güzel ve yanıltıcı olmayan bir sınav ortaya çıkar.

Kendisine verdiği cevaplardan dolayı teşekkür ediyoruz.

Belki bazılarınız "Siz soruyu görsel olarak attınız, bir de yazı olarak deneyin." diyebileceği için bir şans daha verdik ve matematik sorusu hazırlattık:

chatgpt 4 kpss matematik sorusu

Başlangıçta matematik sorusu olduğu için ümitliydik fakat sonuç tahmin ettiğimiz gibi olmadı. Soruyu yazıyla yazmamıza ve prompt'unu da değiştirmemize rağmen bu sefer çok daha kötü bir sonuçla karşı karşıya kaldık. Hatta bu sefer sonuç o kadar kötüydü ki hata vermesine bile sebep oldu.

chatgpt4 kpss matematik sorusu cevabı

"Oluşturduğun sorunun cevabının şıklarda olmasına özen göster." dediğimiz için soruyu oluşturur oluşturmaz çözmeye başladı ve işin içinden çıkamadı.

Sonuç olarak, yapay zekâ şu an güvenilir bir kaynak olabilecek gibi durmuyor.

Chatgpt, OpenAI

Evet, yapay zekâ günümüzde çok popüler ve zaman geçtikçe akılalmaz seviyelere illaki ulaşacaktır ancak gelin görün ki bu hâli ile hocalarımızın hazırladığı soruları hazırlayabilecek yeterliliğe sahip değil.

Yapay zekâ, şu an daha 2-3 yaşında ve her şeyi yeni yeni öğrenen bir bebek gibi. Siz ona bir şey verirsiniz, eğitirsiniz ve öğretirsiniz. O da karşılığında size, öğrettiğiniz şekilde benzer cevaplar verir.

Biz burada ChatGPT 4 kullandık ve hiçbir şekilde bir eğitim vermeden benzer sorular hazırlamasını istedik. Belki de ÖSYM'den birden fazla sorular atıp soru tarzlarını ve yazılış biçimlerini öğrenmesini isteseydik sonuçlar farklı olabilirdi, bilemiyoruz.

Şu an kullandığımız sürüm, internetten veri çekebiliyor ama kendi başına buyruk hareketler yapamıyor. Hatta internetten veri çekse bile bazen bilgileri uydurup yanlış bilgiler verebiliyor. Zamanında "Kim Milyoner Olmak İster?" yarışmasının bazı sorularına da yanlış cevaplar vermişti.

ÖSYM'nin bu konuyu nasıl ele alacağını tam olarak bilmiyoruz.

ösym yapay zeka

Tahmini olarak bu yaptığımız gibi bir şey yapmayacaklardır. Eğer ki bilmediğimiz, arka planda düzgün veri setine sahip, eğitilen ve tasarlanan bir sistem varsa bu yaptığımız basit örneklere karşı çok daha verimli sonuçlar da elde edebilirler. O yüzden başlıkta attığımız kanıya hemen varmak da çok mantıklı olmayabilir. 

Gün gelir de eğer bir gün yapay zekâ için önündeki engeller kalkıp düzgün bir öğrenme algoritması geliştirilip internetteki veya dünya gündemindeki her veriyi hızlı bir şekilde öğrenip kavrayabilirse işte o zaman belki de bu yazıları biz değil onlar yazıyor olacak.

Sizin bu konu hakkındaki görüşleriniz neler?

İlginizi çekebilecek diğer yapay zekâ içeriklerimiz:

21
2
1
1
0
Emoji İle Tepki Ver
21
2
1
1
0