Yandex, Yeni Sıkıştırma Yöntemleriyle Büyük Dil Modellerini Geliştiriyor
Yandex, global araştırma kuruluşları IST Austria, NeuralMagic ve KAUST ile birlikte büyük dil modelleri için iki yenilikçi sıkıştırma yöntemi geliştirdi. Bu yeni teknikler, model boyutunu 8 kata kadar azaltarak, yanıt kalitesini %95 oranında koruyabiliyor.
İnovatif Yaklaşımlar: AQLM ve PV-Tuning
Geliştirilen yöntemler arasında Eklemeli Niceleme (AQLM) ve PV-Tuning yer alıyor. AQLM, sıkıştırma sürecinde geleneksel eklemeli niceleme tekniğini kullanarak, model doğruluğunu en üst düzeyde korurken, günlük cihazlarda kullanılabilirlik sağlıyor. PV-Tuning ise model sıkıştırması sırasında ortaya çıkan hataları engelleyerek, sınırlı kaynaklarda bile yüksek kaliteli yanıtlar sunulmasına imkan tanıyor.
Donanım Maliyetlerinde Önemli Tasarruf
Yöntemlerin etkinliği, LLama 2, Mistral ve Mixtral gibi popüler açık kaynaklı modellerle test edildi. Araştırmacılar, büyük dil modellerini sıkıştırarak yanıt kalitesini WikiText2 ve C4 gibi İngilizce karşılaştırma ölçütleri ile değerlendirdi. Modeller, 8 kata kadar sıkıştırılmalarına rağmen yanıt kalitesini %95 oranında korumayı başardı.
Yeni Kullanım Alanları ve Hız Artışı
AQLM ve PV-Tuning, cihazlarda çevrimdışı dağıtım olanağı sunarak, akıllı telefonlardan hoparlörlere kadar geniş bir uygulama yelpazesi oluşturuyor. Kullanıcılar, bu gelişmiş dil modelleri ile metin ve görüntü oluşturma gibi işlemleri internet bağlantısına ihtiyaç duymadan gerçekleştirebiliyor.
Yöntemler ayrıca, daha az hesaplama gereksinimi ile 4 kat daha hızlı çalışabiliyor. Dünya genelindeki geliştiriciler, GitHub platformunda yer alan AQLM ve PV-Tuning'i kullanabilirken, tanıtım sunumları sıkıştırılmış büyük dil modellerinin etkili bir şekilde nasıl eğitileceği konusunda rehberlik sunuyor.
