Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Uzun metin senaryolarında, ChatGPT gibi büyük dil modelleri genellikle daha yüksek bilgi işlem gücü maliyetleri, daha uzun gecikme süresi ve daha kötü performansla karşı karşıya kalır. Bu üç zorluğu çözmek için Microsoft, LongLLMLingua'yı açık kaynaklı hale getirdi.
LongLLMLingua'nın temel teknik prensibinin, "metin isteminin" sınır sıkıştırmasının 20 katına kadar ulaşmak olduğu ve aynı zamanda istemdeki içeriğin sorunla olan ilişkisini doğru bir şekilde değerlendirebildiği, alakasız içeriği ortadan kaldırabildiği ve önemli bilgileri koruyabildiği, maliyetleri düşürme ve verimliliği artırma amacına ulaşabildiği bildirilmektedir.
Deneysel sonuçlar, LongLLMLingua tarafından sıkıştırılan ** isteminin performansının orijinal isteminkinden %17,1 daha yüksek olduğunu ve GPT-3.5-Turbo'ya girilen belirteçlerin 4 kat azaldığını** göstermektedir. LongBench ve ZeroScrolls testleri, 1.000 numune başına 28,5 ABD Doları ve 27,4 ABD Doları maliyet tasarrufu gösterdi.
Yaklaşık 10 bin jetonluk bir ipucu sıkıştırıldığında ve sıkıştırma oranı 2-10x aralığında olduğunda, uçtan uca gecikme süresi 1,4-3,8 kat azaltılabilir ve bu da çıkarım oranını önemli ölçüde hızlandırır.
Bildiri Adresi:
Açık Kaynak Adresi:
Giriş makalesinden, LongLLMLingua temel olarak dört modülden oluşur: soruna duyarlı kaba-ince taneli sıkıştırma, belge yeniden sıralama, dinamik sıkıştırma oranı ve sıkıştırmadan sonra alt dizi kurtarma.
Soruna duyarlı kaba taneli sıkıştırma modülü
Bu modülün amacı, soru metnini koşullu olarak kullanmak, her paragrafın soruyla ne kadar alakalı olduğunu değerlendirmek ve daha alakalı paragrafları korumaktır.
Spesifik olarak, problem metninin ve her paragrafın koşullu karışıklık derecesi hesaplanarak, ikisi arasındaki mantıksal korelasyon derecesi değerlendirilir ve koşullu karışıklık ne kadar düşükse, alaka düzeyi o kadar yüksek olur.
Bu temelde, düşük karışıklığa sahip paragrafları tutmak için bir eşik belirleyin ve sorunla ilgili olmayan paragrafları filtreleyin. Bu, kaba taneli sıkıştırmanın soruna bağlı olarak büyük miktarda gereksiz bilgiyi hızla kaldırmasını sağlar.
Belge Yeniden Sıralama Modülü
Araştırmalar, istemler arasında başlangıç ve bitiş konumlarına yakın içeriğin dil modeli üzerinde en büyük etkiye sahip olduğunu göstermiştir. Bu nedenle, modül her paragrafı alaka düzeyine göre yeniden sıralar, böylece anahtar bilgiler modele daha duyarlı bir konumda görünür ve orta konumdaki bilgi kaybını azaltır.
Her paragrafın problemle alaka düzeyini hesaplamak için kaba taneli sıkıştırma modülü kullanılarak, paragraflar, en yüksek alaka düzeyine sahip paragraf ilk sırada yer alacak şekilde sıralanır. Bu, modelin kritik bilgi algısını daha da geliştirir.
Yeniden sıralanan ilgili paragrafları elde ettikten sonra, her paragraftaki kelime miktarının daha da sıkıştırılması gerekir. Bu noktada, dinamik sıkıştırma oranı modülü istemi hassas bir şekilde ayarlar.
Dinamik Sıkıştırma Oranı Modülü
Daha alakalı paragraflar için daha düşük bir sıkıştırma oranı kullanın ve ayrılmış kelimeler için daha fazla bütçe ayırın, daha az alakalı paragraflar için daha yüksek bir sıkıştırma oranı kullanın.
Her paragraf için sıkıştırma oranı, kaba taneli sıkıştırma sonucunda paragraf ilişkilendirilebilirliği kullanılarak dinamik olarak belirlenir. En alakalı paragraflar en düşük sıkıştırma oranına sahiptir ve bu böyle devam eder.
Kritik bilgileri etkili bir şekilde saklamak için uyarlanabilir, ince taneli sıkıştırma kontrolü elde edin. Sıkıştırmadan sonra, aşağıdaki sıkıştırılmış alt dizi kurtarma modülünü gerektiren sonuçların güvenilirliğini artırmak da gereklidir.
Sıkıştırmadan Sonra Alt Sıra Kurtarma Modülü
Sıkıştırma işlemi sırasında, bazı anahtar kelimeler aşırı derecede silinebilir, bu da bilgilerin bütünlüğünü etkiler ve modül bu anahtar kelimeleri algılayabilir ve geri yükleyebilir.
Çalışma prensibi, oluşturulan sonuçlardan tam anahtar isim cümlelerini kurtarmak, sıkıştırmanın getirdiği bilgi eksikliğini gidermek ve sonuçların doğruluğunu artırmak için kaynak metin, sıkıştırılmış metin ve oluşturulan metin arasındaki alt dizi ilişkisini kullanmaktır.
Tüm süreç, makalelere hızlı bir şekilde göz atmak, bilgileri gözden geçirmek, önemli noktaları entegre etmek vb. için iş akışımıza benzer, böylece model metnin temel bilgilerini hızlı bir şekilde yakalar ve yüksek kaliteli özetler üretir.
LongLLMLingua deneysel verileri
Araştırmacılar, her örneğin bir soru ve cevaplara ihtiyaç duyulan 20 ilgili belge içerdiği Doğal Sorulara dayalı çok belgeli bir soru-cevap veri seti oluşturdular.
Bu veri kümesi, modelin uzun belgelerdeki Soru-Cevap performansını değerlendirmek için gerçek dünyadaki arama motorunun ve Soru-Cevap senaryolarının benzetimini yapar.
Ek olarak, araştırmacılar, yöntemin etkinliğini daha geniş bir senaryo yelpazesinde değerlendirmek için LongBench ve ZeroSCROLLS dahil olmak üzere daha genel bir dizi uzun metin anlama kriteri kullandılar.
Bunlar arasında LongBench, tek belgeli Soru-Cevap, çok belgeli Soru-Cevap, metin özeti ve İngilizce veri kümeleri de dahil olmak üzere az örnekli öğrenme gibi görevleri kapsar. ZeroSCROLLS, metin özetleme, soru yanıtlama anlama ve duygu analizi gibi tipik dil anlama görevlerini içerir.
Bu veri kümeleri üzerinde araştırmacılar, LongLLMLingua'nın sıkıştırılmış isteminin performansını büyük bir dil modelindeki orijinal istemle karşılaştırdı. Aynı zamanda, LongLLMLingua'nın etkinliği, bulmaca tabanlı LLMLingua ve geri alma tabanlı yöntemler gibi diğer hızlı sıkıştırma yöntemleriyle karşılaştırılarak değerlendirildi.
Deneysel sonuçlar, LongLLMLingua'nın sıkıştırılmış isteminin, Soru-Cevap doğruluğu ve oluşturulan metin kalitesi açısından genellikle orijinal istemden daha iyi olduğunu göstermektedir.
Örneğin, NaturalQuestions'da istemlerin 4 kat sıkıştırılması, Soru-Cevap doğruluğunu %17,1 oranında artırdı. Yaklaşık 10 bin jetonluk bir ipucunu sıkıştırırken, sıkıştırma oranı 2-10x aralığındadır ve uçtan uca gecikme 1,4-3,8 kat azaltılabilir. Bu, LongLLMLingua'nın ipuçlarını sıkıştırırken önemli bilgilerin çıkarılmasını iyileştirebileceğini tamamen kanıtlıyor.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
20 kata kadar! AI bilgi işlem gücünden büyük ölçüde tasarruf etmek için ChatGPT gibi model metin istemlerini sıkıştırın
Orijinal kaynak: AIGC Açık Topluluğu
Uzun metin senaryolarında, ChatGPT gibi büyük dil modelleri genellikle daha yüksek bilgi işlem gücü maliyetleri, daha uzun gecikme süresi ve daha kötü performansla karşı karşıya kalır. Bu üç zorluğu çözmek için Microsoft, LongLLMLingua'yı açık kaynaklı hale getirdi.
LongLLMLingua'nın temel teknik prensibinin, "metin isteminin" sınır sıkıştırmasının 20 katına kadar ulaşmak olduğu ve aynı zamanda istemdeki içeriğin sorunla olan ilişkisini doğru bir şekilde değerlendirebildiği, alakasız içeriği ortadan kaldırabildiği ve önemli bilgileri koruyabildiği, maliyetleri düşürme ve verimliliği artırma amacına ulaşabildiği bildirilmektedir.
Deneysel sonuçlar, LongLLMLingua tarafından sıkıştırılan ** isteminin performansının orijinal isteminkinden %17,1 daha yüksek olduğunu ve GPT-3.5-Turbo'ya girilen belirteçlerin 4 kat azaldığını** göstermektedir. LongBench ve ZeroScrolls testleri, 1.000 numune başına 28,5 ABD Doları ve 27,4 ABD Doları maliyet tasarrufu gösterdi.
Yaklaşık 10 bin jetonluk bir ipucu sıkıştırıldığında ve sıkıştırma oranı 2-10x aralığında olduğunda, uçtan uca gecikme süresi 1,4-3,8 kat azaltılabilir ve bu da çıkarım oranını önemli ölçüde hızlandırır.
Bildiri Adresi:
Açık Kaynak Adresi:
Giriş makalesinden, LongLLMLingua temel olarak dört modülden oluşur: soruna duyarlı kaba-ince taneli sıkıştırma, belge yeniden sıralama, dinamik sıkıştırma oranı ve sıkıştırmadan sonra alt dizi kurtarma.
Soruna duyarlı kaba taneli sıkıştırma modülü
Bu modülün amacı, soru metnini koşullu olarak kullanmak, her paragrafın soruyla ne kadar alakalı olduğunu değerlendirmek ve daha alakalı paragrafları korumaktır.
Bu temelde, düşük karışıklığa sahip paragrafları tutmak için bir eşik belirleyin ve sorunla ilgili olmayan paragrafları filtreleyin. Bu, kaba taneli sıkıştırmanın soruna bağlı olarak büyük miktarda gereksiz bilgiyi hızla kaldırmasını sağlar.
Belge Yeniden Sıralama Modülü
Araştırmalar, istemler arasında başlangıç ve bitiş konumlarına yakın içeriğin dil modeli üzerinde en büyük etkiye sahip olduğunu göstermiştir. Bu nedenle, modül her paragrafı alaka düzeyine göre yeniden sıralar, böylece anahtar bilgiler modele daha duyarlı bir konumda görünür ve orta konumdaki bilgi kaybını azaltır.
Her paragrafın problemle alaka düzeyini hesaplamak için kaba taneli sıkıştırma modülü kullanılarak, paragraflar, en yüksek alaka düzeyine sahip paragraf ilk sırada yer alacak şekilde sıralanır. Bu, modelin kritik bilgi algısını daha da geliştirir.
Dinamik Sıkıştırma Oranı Modülü
Daha alakalı paragraflar için daha düşük bir sıkıştırma oranı kullanın ve ayrılmış kelimeler için daha fazla bütçe ayırın, daha az alakalı paragraflar için daha yüksek bir sıkıştırma oranı kullanın.
Kritik bilgileri etkili bir şekilde saklamak için uyarlanabilir, ince taneli sıkıştırma kontrolü elde edin. Sıkıştırmadan sonra, aşağıdaki sıkıştırılmış alt dizi kurtarma modülünü gerektiren sonuçların güvenilirliğini artırmak da gereklidir.
Sıkıştırmadan Sonra Alt Sıra Kurtarma Modülü
Sıkıştırma işlemi sırasında, bazı anahtar kelimeler aşırı derecede silinebilir, bu da bilgilerin bütünlüğünü etkiler ve modül bu anahtar kelimeleri algılayabilir ve geri yükleyebilir.
Çalışma prensibi, oluşturulan sonuçlardan tam anahtar isim cümlelerini kurtarmak, sıkıştırmanın getirdiği bilgi eksikliğini gidermek ve sonuçların doğruluğunu artırmak için kaynak metin, sıkıştırılmış metin ve oluşturulan metin arasındaki alt dizi ilişkisini kullanmaktır.
LongLLMLingua deneysel verileri
Araştırmacılar, her örneğin bir soru ve cevaplara ihtiyaç duyulan 20 ilgili belge içerdiği Doğal Sorulara dayalı çok belgeli bir soru-cevap veri seti oluşturdular.
Bu veri kümesi, modelin uzun belgelerdeki Soru-Cevap performansını değerlendirmek için gerçek dünyadaki arama motorunun ve Soru-Cevap senaryolarının benzetimini yapar.
Ek olarak, araştırmacılar, yöntemin etkinliğini daha geniş bir senaryo yelpazesinde değerlendirmek için LongBench ve ZeroSCROLLS dahil olmak üzere daha genel bir dizi uzun metin anlama kriteri kullandılar.
Bunlar arasında LongBench, tek belgeli Soru-Cevap, çok belgeli Soru-Cevap, metin özeti ve İngilizce veri kümeleri de dahil olmak üzere az örnekli öğrenme gibi görevleri kapsar. ZeroSCROLLS, metin özetleme, soru yanıtlama anlama ve duygu analizi gibi tipik dil anlama görevlerini içerir.
Deneysel sonuçlar, LongLLMLingua'nın sıkıştırılmış isteminin, Soru-Cevap doğruluğu ve oluşturulan metin kalitesi açısından genellikle orijinal istemden daha iyi olduğunu göstermektedir.
Örneğin, NaturalQuestions'da istemlerin 4 kat sıkıştırılması, Soru-Cevap doğruluğunu %17,1 oranında artırdı. Yaklaşık 10 bin jetonluk bir ipucunu sıkıştırırken, sıkıştırma oranı 2-10x aralığındadır ve uçtan uca gecikme 1,4-3,8 kat azaltılabilir. Bu, LongLLMLingua'nın ipuçlarını sıkıştırırken önemli bilgilerin çıkarılmasını iyileştirebileceğini tamamen kanıtlıyor.