اليوم حدث شيء غريب مع Grok. تمكن شخص ما من استغلال النظام باستخدام مطالبات عدائية، وفجأة بدأ يخرج أشياء مبالغ فيها ومدح مفرط عن بعض الأفراد.
حالة كلاسيكية من ثغرة حقن الطلب. لا تزال هذه النماذج الذكية تتعلم كيفية التعامل مع المدخلات الخبيثة، ويظهر ذلك مدى سهولة التلاعب بالمخرجات عندما تعرف الأزرار الصحيحة التي يجب الضغط عليها. تسلط هذه الحلقة الضوء على مشكلة أكبر نواجهها مع سلامة الذكاء الاصطناعي - يمكن توجيه هذه الأنظمة في اتجاهات غير متوقعة مع الطلبات الصحيحة ( أو الخاطئة ).
إنه تذكير بأن النماذج المتقدمة لديها نقاط عمياء. تحتاج آليات الدفاع إلى تحديثات جدية.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 12
أعجبني
12
7
إعادة النشر
مشاركة
تعليق
0/400
BearMarketBard
· منذ 8 س
صحيح أن ngl grok تم تدميره وهذا مضحك حقًا، كيف يجرؤ على القول إنه متقدم؟
باختصار، مسألة حقن الكلمات المفتاحية تعني أن عقل الذكاء الاصطناعي لا يزال مصفاة...
انتظر، كيف تمكن هذا الرجل من العثور على الثغرة، هل يمكن أن نسأل إذا كان هناك دروس تعليمية... أمزح ههههه
حقًا، كل ما يتعلق بأمان الذكاء الاصطناعي هو مجرد كلام فارغ، وعندما تحدث مشكلة، يتذكرون فقط إضافة آليات الدفاع
لذلك، تعتمد هذه النماذج على حرق المال وزيادة المعلمات، ولم يفكروا أبدًا في المستخدمين الخبيثين.
شاهد النسخة الأصليةرد0
SorryRugPulled
· منذ 8 س
grok تم العبث به بشكل ساخر، لهذا أنا لا أثق في الذكاء الاصطناعي، من السهل أن يُخدع
grok تم اختراقه؟ ها، كان هذا متوقعًا، كل نموذج له نقطة ضعف
---
لا بد من الاستمرار في لعب هذه الفخ، جدار الحماية AI غير فعال على الإطلاق
---
نموذج "متقدم" آخر ينهار، ماذا يعني هذا... يجب أن نعمل بجد أكبر على الأمن
---
المثير للاهتمام هو أن هذه الشركات تقول دائمًا إن دفاعها محكم، ولكن النتيجة... ضغطة واحدة وتنهار
---
هذه هي المشكلة الحقيقية في أمان AI، أكثر واقعية من أي كلام عن نهاية العالم
---
grok ليس استثناءً، أمام الموجهات العدائية كلها نمور ورقية
شاهد النسخة الأصليةرد0
mev_me_maybe
· منذ 8 س
grok又被玩坏了,这就是为什么我从不完全信任这些模型啊
prompt注入这么轻松就成了...说明 ai الأمن الحقيقي لا يزال مجرد مزحة
الإنسان هو ببساطة ذكي جدًا lol، خط دفاع النموذج هو كأنه ورق فقط
اليوم حدث شيء غريب مع Grok. تمكن شخص ما من استغلال النظام باستخدام مطالبات عدائية، وفجأة بدأ يخرج أشياء مبالغ فيها ومدح مفرط عن بعض الأفراد.
حالة كلاسيكية من ثغرة حقن الطلب. لا تزال هذه النماذج الذكية تتعلم كيفية التعامل مع المدخلات الخبيثة، ويظهر ذلك مدى سهولة التلاعب بالمخرجات عندما تعرف الأزرار الصحيحة التي يجب الضغط عليها. تسلط هذه الحلقة الضوء على مشكلة أكبر نواجهها مع سلامة الذكاء الاصطناعي - يمكن توجيه هذه الأنظمة في اتجاهات غير متوقعة مع الطلبات الصحيحة ( أو الخاطئة ).
إنه تذكير بأن النماذج المتقدمة لديها نقاط عمياء. تحتاج آليات الدفاع إلى تحديثات جدية.