Paylaş
0
Yapay zekâ dünyasında Google tarafından ezber bozan bir gelişme duyuruldu.
TurboQuant adlı yeni nesil sıkıştırma teknolojisi, büyük dil modellerini ve arama motorlarını hem çok daha hızlı hem de çok daha verimli hâle getiriyor.
İçerikten Görseller
Çözülmesi gereken sorun tam olarak ne?
Yapay zekâ sistemleri, bilgiyi “vektör” adı verilen matematiksel yapılarla işler ancak özellikle yüksek boyutlu vektörler çok fazla bellek tüketir, sistemlerde darboğazlara yol açar ve arama ve işlem hızını yavaşlatır.
Bu durum özellikle büyük dil modellerinde kullanılan “key-value cache” gibi hızlı erişim sistemlerinde ciddi performans sorunlarına neden olur.
TurboQuant ne getiriyor?
Yeni geliştirilen TurboQuant algoritması, bu sorunu radikal bir şekilde çözüyor. Bellek kullanımını en az 6 kat azaltıyor, işlem hızını 8 kata kadar artırıyor ve hiçbir doğruluk kaybı olmadan çalışıyor
Üstelik bunu yaparken ek yük oluşturan klasik sıkıştırma yöntemlerinin aksine, neredeyse sıfır ek maliyetle çalışıyor.
Nasıl çalışıyor?
TurboQuant, iki yenilikçi teknikle fark yaratıyor.
1. PolarQuant – Akıllı Sıkıştırma
- Verileri farklı bir koordinat sistemine çevirerek daha verimli sıkıştırıyor
- Gereksiz hesaplamaları ortadan kaldırıyor
- Bellek yükünü ciddi şekilde azaltıyor
2. QJL (Quantized Johnson-Lindenstrauss)
- Veriyi sadece 1 bit ile temsil edebiliyor
- Hataları matematiksel olarak düzeltiyor
- Ekstra bellek ihtiyacını tamamen ortadan kaldırıyor
TurboQuant gibi teknolojiler sayesinde gelecekte yapay zekâ sistemleri daha hızlı, daha ucuz ve daha akıllı olacak.
