Paylaş
0
Apple’ın en yeni amiral gemisi iPhone 17 Pro, yapay zekâ tarafında oldukça şaşırtıcı bir deneye sahne oldu.
Cihazda tam 400 milyar parametreli dev bir dil modeli yerel olarak çalıştırıldı. Bu tür modellerin normalde 200 GB’tan fazla RAM gerektirdiği düşünüldüğünde, yalnızca 12 GB RAM’e sahip bir telefonda bunu görmek neredeyse imkânsız gibi.
İçerikten Görseller
Peki bu nasıl mümkün oldu?
Bu başarı, açık kaynaklı Flash-MoE projesi sayesinde gerçekleşti. Sistem, modeli tamamen RAM'e yüklemek yerine ihtiyaç duyulan parçaları depolamadan anlık olarak çekiyor. Ayrıca “Mixture of Experts” yöntemi kullanılarak modelin sadece küçük bir kısmı aynı anda aktif tutuluyor. Bu iki teknik, devasa modelin telefonda çalışmasını sağlıyor.
Tabii ortada ciddi bir sorun var, o da hız. Model saniyede yalnızca 0.6 token üretebiliyor. Bu da tek bir kelime için bile birkaç saniye beklemek anlamına geliyor. Kullanım deneyimi oldukça yavaş ve sabır gerektiriyor. Üstelik bu kadar yoğun işlem, pil tüketimini de ciddi şekilde artırıyor.
Yine de bu gelişme, geleceğe dair önemli ipuçları veriyor. Henüz pratik olmasa da böylesine büyük yapay zekâ modellerinin tamamen cihaz üzerinde çalıştırılabilmesi, mobil teknolojinin nereye doğru evrildiğinin net bir göstergesi.
