مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود
في سيناريوهات النص الطويل ، غالبا ما تواجه نماذج اللغات الكبيرة مثل ChatGPT تكاليف طاقة حوسبة أعلى وزمن انتقال أطول وأداء أسوأ. لحل هذه التحديات الثلاثة ، قامت Microsoft بفتح المصدر LongLLMLingua.
يذكر أن المبدأ التقني الأساسي ل LongLLMLingua هو تحقيق ما يصل إلى 20 ضعف ضغط الحد من "موجه النص" ، وفي الوقت نفسه يمكن تقييم أهمية المحتوى بدقة في موجه المشكلة ، والقضاء على المحتوى غير ذي الصلة والاحتفاظ بالمعلومات الأساسية ، وتحقيق الغرض من خفض التكاليف وزيادة الكفاءة.
تظهر النتائج التجريبية أن أداء الموجه ** المضغوط بواسطة LongLLMLingua أعلى بنسبة 17.1٪ من أداء الموجه الأصلي ، ويتم تقليل الرموز المميزة التي تم إدخالها في GPT-3.5-Turbo بمقدار 4 مرات **. أظهرت اختبارات LongBench و ZeroScrolls وفورات في التكاليف قدرها 28.5 دولارا و 27.4 دولارا لكل 1,000 عينة.
عندما يتم ضغط تلميح يبلغ حوالي 10 آلاف رمز مميز وتكون نسبة الضغط في حدود 2-10x ، يمكن تقليل زمن الانتقال من طرف إلى طرف بمقدار 1.4-3.8x ، مما يسرع بشكل كبير من معدل الاستدلال.
عنوان الورقة:
عنوان مفتوح المصدر:
من الورقة التمهيدية ، يتكون LongLLMLingua بشكل أساسي من أربع وحدات: الضغط الخشن الناعم المدرك للمشكلة ، وإعادة ترتيب المستندات ، ونسبة الضغط الديناميكي ، واستعادة التسلسل الفرعي بعد الضغط.
** وحدة ضغط الحبيبات الخشنة المدركة للمشاكل **
تتمثل فكرة هذه الوحدة في الاستخدام المشروط لنص السؤال ، وتقييم مدى صلة كل فقرة بالسؤال ، والاحتفاظ بالفقرات الأكثر صلة.
على وجه التحديد ، من خلال حساب درجة الارتباك الشرطي لنص المشكلة وكل فقرة ، يتم الحكم على درجة الارتباط المنطقي بين الاثنين ، وكلما انخفض الارتباك الشرطي ، زادت الصلة.
على هذا الأساس ، حدد حدا للاحتفاظ بالفقرات ذات الارتباك المنخفض وتصفية الفقرات التي لا صلة لها بالمشكلة. يتيح ذلك للضغط الخشن إزالة كميات كبيرة من المعلومات الزائدة بسرعة بناء على المشكلة.
وحدة إعادة ترتيب المستند
أظهرت الدراسات أنه من بين المطالبات ، يكون للمحتوى القريب من مواضع البداية والنهاية أكبر تأثير على نموذج اللغة. لذلك ، تقوم الوحدة بإعادة ترتيب كل فقرة وفقا لأهميتها ، بحيث تظهر المعلومات الأساسية في موضع أكثر حساسية للنموذج ، مما يقلل من فقدان المعلومات في الموضع الأوسط.
باستخدام وحدة الضغط ذات الحبيبات الخشنة لحساب مدى ملاءمة كل فقرة للمشكلة ، يتم فرز الفقرات بحيث يتم ترتيب الفقرة ذات أعلى درجة من الصلة في المرتبة الأولى. هذا يعزز تصور النموذج للمعلومات الهامة.
بعد الحصول على الفقرات ذات الصلة المعاد ترتيبها ، يجب زيادة ضغط كمية الكلمات داخل كل فقرة. في هذه المرحلة ، تقوم وحدة نسبة الضغط الديناميكية بضبط المطالبة بدقة.
وحدة نسبة الضغط الديناميكي
استخدم نسبة ضغط أقل للفقرات الأكثر صلة وخصص ميزانية أكبر للكلمات المحجوزة، بينما استخدم نسبة ضغط أعلى للفقرات الأقل صلة.
يتم تحديد نسبة الضغط لكل فقرة ديناميكيا من خلال استخدام ارتباط الفقرة في نتيجة الضغط الحبيبي الخشن. الفقرات الأكثر صلة لها أدنى نسبة ضغط ، وهكذا.
حقق تحكما تكيفيا في الضغط الدقيق للاحتفاظ بالمعلومات الهامة بفعالية. بعد الضغط ، من الضروري أيضا تحسين موثوقية النتائج ، الأمر الذي يتطلب وحدة استرداد التسلسل الفرعي المضغوط التالية.
** وحدة استرداد التسلسل الفرعي بعد الضغط **
أثناء عملية الضغط ، قد يتم حذف بعض الكلمات الرئيسية بشكل مفرط ، مما يؤثر على سلامة المعلومات ، ويمكن للوحدة اكتشاف هذه الكلمات الرئيسية واستعادتها.
مبدأ العمل هو استخدام علاقة التسلسل الفرعي بين النص المصدر والنص المضغوط والنص الذي تم إنشاؤه لاستعادة عبارات الاسم الرئيسي الكاملة من النتائج التي تم إنشاؤها ، وإصلاح نقص المعلومات الناتجة عن الضغط ، وتحسين دقة النتائج.
تشبه العملية برمتها إلى حد ما سير العمل الخاص بنا لتصفح المقالات بسرعة ، وغربلة المعلومات ، ودمج النقاط الرئيسية ، وما إلى ذلك ، بحيث يلتقط النموذج بسرعة المعلومات الأساسية للنص وينتج ملخصات عالية الجودة.
**البيانات التجريبية LongLLMLingua **
قام الباحثون ببناء مجموعة بيانات متعددة المستندات للأسئلة والأجوبة بناء على الأسئلة الطبيعية ، حيث احتوى كل مثال على سؤال و 20 وثيقة ذات صلة كانت هناك حاجة إلى إجابات منها.
تحاكي مجموعة البيانات هذه محرك البحث الواقعي وسيناريوهات الأسئلة والأجوبة لتقييم أداء الأسئلة والأجوبة للنموذج في المستندات الطويلة.
بالإضافة إلى ذلك ، استخدم الباحثون مجموعة أكثر عمومية من معايير فهم النص الطويل ، بما في ذلك LongBench و ZeroSCROLLS ، لتقييم فعالية الطريقة في مجموعة واسعة من السيناريوهات.
من بينها ، يغطي LongBench مهام مثل Q& أحادي المستند ، وأسئلة وأجوبة متعددة المستندات ، وملخص نصي ، وتعلم قليل من العينات ، بما في ذلك مجموعات البيانات الإنجليزية. يتضمن ZeroSCROLLS مهام فهم اللغة النموذجية مثل تلخيص النص وفهم الإجابة على الأسئلة وتحليل المشاعر.
في مجموعات البيانات هذه ، قارن الباحثون أداء موجه LongLLMLingua المضغوط مع الموجه الأصلي على نموذج لغة كبير. في الوقت نفسه ، تم تقييم فعالية LongLLMLingua بالمقارنة مع طرق الضغط الفوري الأخرى ، مثل LLMLingua القائمة على الألغاز والطرق القائمة على الاسترجاع.
أظهرت النتائج التجريبية أن الموجه المضغوط ل LongLLMLingua أفضل بشكل عام من الموجه الأصلي من حيث دقة Q&A وجودة النص التي تم إنشاؤها.
على سبيل المثال ، في NaturalQuestions ، أدى ضغط المطالبات 4x إلى تحسين دقة الأسئلة والأجوبة بنسبة 17.1٪. عند ضغط تلميح يبلغ حوالي 10 آلاف رمز مميز ، تكون نسبة الضغط في نطاق 2-10x ، ويمكن تقليل زمن الانتقال من طرف إلى طرف بمقدار 1.4-3.8x. هذا يثبت تماما أن LongLLMLingua يمكن أن يحسن استخراج المعلومات الأساسية أثناء ضغط التلميحات.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
ما يصل إلى 20 مرة! ضغط مطالبات نص النموذج مثل ChatGPT لتوفير قوة الحوسبة الذكاء الاصطناعي بشكل كبير
المصدر الأصلي: مجتمع AIGC المفتوح
في سيناريوهات النص الطويل ، غالبا ما تواجه نماذج اللغات الكبيرة مثل ChatGPT تكاليف طاقة حوسبة أعلى وزمن انتقال أطول وأداء أسوأ. لحل هذه التحديات الثلاثة ، قامت Microsoft بفتح المصدر LongLLMLingua.
يذكر أن المبدأ التقني الأساسي ل LongLLMLingua هو تحقيق ما يصل إلى 20 ضعف ضغط الحد من "موجه النص" ، وفي الوقت نفسه يمكن تقييم أهمية المحتوى بدقة في موجه المشكلة ، والقضاء على المحتوى غير ذي الصلة والاحتفاظ بالمعلومات الأساسية ، وتحقيق الغرض من خفض التكاليف وزيادة الكفاءة.
تظهر النتائج التجريبية أن أداء الموجه ** المضغوط بواسطة LongLLMLingua أعلى بنسبة 17.1٪ من أداء الموجه الأصلي ، ويتم تقليل الرموز المميزة التي تم إدخالها في GPT-3.5-Turbo بمقدار 4 مرات **. أظهرت اختبارات LongBench و ZeroScrolls وفورات في التكاليف قدرها 28.5 دولارا و 27.4 دولارا لكل 1,000 عينة.
عندما يتم ضغط تلميح يبلغ حوالي 10 آلاف رمز مميز وتكون نسبة الضغط في حدود 2-10x ، يمكن تقليل زمن الانتقال من طرف إلى طرف بمقدار 1.4-3.8x ، مما يسرع بشكل كبير من معدل الاستدلال.
عنوان الورقة:
عنوان مفتوح المصدر:
من الورقة التمهيدية ، يتكون LongLLMLingua بشكل أساسي من أربع وحدات: الضغط الخشن الناعم المدرك للمشكلة ، وإعادة ترتيب المستندات ، ونسبة الضغط الديناميكي ، واستعادة التسلسل الفرعي بعد الضغط.
** وحدة ضغط الحبيبات الخشنة المدركة للمشاكل **
تتمثل فكرة هذه الوحدة في الاستخدام المشروط لنص السؤال ، وتقييم مدى صلة كل فقرة بالسؤال ، والاحتفاظ بالفقرات الأكثر صلة.
على هذا الأساس ، حدد حدا للاحتفاظ بالفقرات ذات الارتباك المنخفض وتصفية الفقرات التي لا صلة لها بالمشكلة. يتيح ذلك للضغط الخشن إزالة كميات كبيرة من المعلومات الزائدة بسرعة بناء على المشكلة.
وحدة إعادة ترتيب المستند
أظهرت الدراسات أنه من بين المطالبات ، يكون للمحتوى القريب من مواضع البداية والنهاية أكبر تأثير على نموذج اللغة. لذلك ، تقوم الوحدة بإعادة ترتيب كل فقرة وفقا لأهميتها ، بحيث تظهر المعلومات الأساسية في موضع أكثر حساسية للنموذج ، مما يقلل من فقدان المعلومات في الموضع الأوسط.
باستخدام وحدة الضغط ذات الحبيبات الخشنة لحساب مدى ملاءمة كل فقرة للمشكلة ، يتم فرز الفقرات بحيث يتم ترتيب الفقرة ذات أعلى درجة من الصلة في المرتبة الأولى. هذا يعزز تصور النموذج للمعلومات الهامة.
وحدة نسبة الضغط الديناميكي
استخدم نسبة ضغط أقل للفقرات الأكثر صلة وخصص ميزانية أكبر للكلمات المحجوزة، بينما استخدم نسبة ضغط أعلى للفقرات الأقل صلة.
حقق تحكما تكيفيا في الضغط الدقيق للاحتفاظ بالمعلومات الهامة بفعالية. بعد الضغط ، من الضروري أيضا تحسين موثوقية النتائج ، الأمر الذي يتطلب وحدة استرداد التسلسل الفرعي المضغوط التالية.
** وحدة استرداد التسلسل الفرعي بعد الضغط **
أثناء عملية الضغط ، قد يتم حذف بعض الكلمات الرئيسية بشكل مفرط ، مما يؤثر على سلامة المعلومات ، ويمكن للوحدة اكتشاف هذه الكلمات الرئيسية واستعادتها.
مبدأ العمل هو استخدام علاقة التسلسل الفرعي بين النص المصدر والنص المضغوط والنص الذي تم إنشاؤه لاستعادة عبارات الاسم الرئيسي الكاملة من النتائج التي تم إنشاؤها ، وإصلاح نقص المعلومات الناتجة عن الضغط ، وتحسين دقة النتائج.
**البيانات التجريبية LongLLMLingua **
قام الباحثون ببناء مجموعة بيانات متعددة المستندات للأسئلة والأجوبة بناء على الأسئلة الطبيعية ، حيث احتوى كل مثال على سؤال و 20 وثيقة ذات صلة كانت هناك حاجة إلى إجابات منها.
تحاكي مجموعة البيانات هذه محرك البحث الواقعي وسيناريوهات الأسئلة والأجوبة لتقييم أداء الأسئلة والأجوبة للنموذج في المستندات الطويلة.
بالإضافة إلى ذلك ، استخدم الباحثون مجموعة أكثر عمومية من معايير فهم النص الطويل ، بما في ذلك LongBench و ZeroSCROLLS ، لتقييم فعالية الطريقة في مجموعة واسعة من السيناريوهات.
من بينها ، يغطي LongBench مهام مثل Q& أحادي المستند ، وأسئلة وأجوبة متعددة المستندات ، وملخص نصي ، وتعلم قليل من العينات ، بما في ذلك مجموعات البيانات الإنجليزية. يتضمن ZeroSCROLLS مهام فهم اللغة النموذجية مثل تلخيص النص وفهم الإجابة على الأسئلة وتحليل المشاعر.
أظهرت النتائج التجريبية أن الموجه المضغوط ل LongLLMLingua أفضل بشكل عام من الموجه الأصلي من حيث دقة Q&A وجودة النص التي تم إنشاؤها.
على سبيل المثال ، في NaturalQuestions ، أدى ضغط المطالبات 4x إلى تحسين دقة الأسئلة والأجوبة بنسبة 17.1٪. عند ضغط تلميح يبلغ حوالي 10 آلاف رمز مميز ، تكون نسبة الضغط في نطاق 2-10x ، ويمكن تقليل زمن الانتقال من طرف إلى طرف بمقدار 1.4-3.8x. هذا يثبت تماما أن LongLLMLingua يمكن أن يحسن استخراج المعلومات الأساسية أثناء ضغط التلميحات.