المحرك الجديد للوعي الذكي: كيف يعيد التعلم المعزز تشكيل بيئة الذكاء الاصطناعي في Web3

عندما ظهر DeepSeek-R1 أدركت الصناعة حقًا حقيقة مُقدّرة بشكل منخفض — أن التعلم المعزز ليس مجرد دور ثانوي في محاذاة النماذج، بل هو القوة الدافعة الأساسية التي تتخلل تطور قدرات الذكاء الاصطناعي بأكمله.

من «نمط التعرف الإحصائي» قبل التدريب إلى «الاستنتاج الهيكلي» بعد التدريب، ثم إلى التوافق المستمر، يتجه التعلم المعزز ليصبح الرافعة الرئيسية لتحريك الجيل القادم من الذكاء. والأكثر إثارة هو أن هذه الآلية تتوافق بشكل طبيعي مع نظام الحوافز اللامركزي في Web3 — وهذا ليس صدفة، بل هو تفاعل جوهري بين نظامين «نظامي حوافز مدفوعين».

سوف نقوم بتحليل معمق للهندسة التقنية للتعلم المعزز وكيفية تكاملها مع خصائص البلوكشين الموزعة، ومن خلال استعراض مشاريع رائدة مثل Prime Intellect و Gensyn و Nous Research و Gradient و Grail و Fraction AI، سنكشف عن الضرورة والآفاق لهذه الموجة.

ثلاث مراحل لتدريب النماذج الضخمة: من التدريب المسبق إلى الاستنتاج المتقدم

دورة حياة النماذج الضخمة الحديثة يمكن تقسيمها إلى ثلاث مراحل تصاعدية، كل منها يعيد تعريف حدود قدرات الذكاء الاصطناعي.

مرحلة التدريب المسبق هي تشكيل الأساس. يتطلب الأمر عشرات الآلاف من وحدات H100، على شكل تزامن عالمي، للتعلم الذاتي على مليارات من البيانات، مع نسبة تكلفة تصل إلى 80-95%. تتطلب هذه المرحلة عرض نطاق ترددي عالي، وتوافق البيانات، وتوحيد التجمعات، ويجب إتمامها في مراكز حوسبة فائقة مركزة، حيث لا مكان لللامركزية.

التعديل الموجه (SFT) هو حقن القدرات بشكل موجه. عبر تدريب النموذج على بيانات أوامر صغيرة الحجم، تكون نسبة التكلفة فقط 5-15%. يمكن أن يكون التعديل شاملاً أو عبر طرق فعالة مثل LoRA وQ-LoRA، مع أن اللامركزية فيها أعلى قليلاً، إلا أنها لا تزال تتطلب تزامن التدرج، مما يصعب تجاوز عنق الزجاجة في الشبكة.

التوافق بعد التدريب هو ساحة المعركة الرئيسية للتعلم المعزز. هذه المرحلة تتطلب أقل قدر من البيانات والتكلفة (فقط 5-10%)، وتركز على Rollout (أخذ مسارات الاستنتاج) وتحديث السياسات. نظرًا لأن Rollout يدعم بشكل طبيعي التنفيذ غير المتزامن الموزع، فلا حاجة لأن يحمل العقد كامل الأوزان، ومع الاعتماد على الحساب القابل للتحقق والحوافز على السلسلة، تصبح مرحلة التوافق بعد التدريب أكثر ملاءمة لللامركزية — وهو نقطة انطلاق مناقشة Web3 + التعلم المعزز.

تشريح آلية التعلم المعزز: قوة الحلقة الثلاثية

المحور الأساسي للتعلم المعزز هو حلقة رد فعل مغلقة: توليد السياسة للعمل → البيئة تعيد المكافأة → تحسين السياسة عبر التكرار. يتكون هذا النظام عادة من ثلاثة مكونات رئيسية:

شبكة السياسة (Policy) تعمل كمركز اتخاذ القرار، تولد الأفعال بناءً على الحالة. أثناء التدريب، يتطلب الأمر تزامنًا مركزيًا للحفاظ على الاتساق العددي، لكن أثناء الاستنتاج يمكن توزيعه على العقد العالمية وتنفيذه بشكل متوازي — وهذه الخاصية «الفصل بين الاستنتاج والتدريب» مثالية للشبكات اللامركزية.

أخذ العينات من التجارب (Rollout) هو مصنع البيانات. تنفذ العقد السياسات وتتفاعل مع البيئة محليًا، وتولد مسارات كاملة من الحالة-الفعل-المكافأة. نظرًا لأن عملية السحب عالية التوازي، وتتطلب اتصالًا منخفضًا جدًا، ولا تتطلب تجانس الأجهزة، يمكن أن يشارك فيها GPU للمستهلكين، والأجهزة الطرفية، وحتى الهواتف — وهو المفتاح لتنشيط القدرة الحاسوبية الطويلة الذيل على مستوى العالم.

المتعلم (Learner) هو محرك التحسين، يجمع جميع بيانات Rollout ويقوم بتحديث التدرج. يتطلب هذا المكون أعلى قدر من الحوسبة وعرض النطاق الترددي، وغالبًا ما يُشغل في تجمعات مركزية أو شبه مركزية، مع أن الحاجة إلى عشرات الآلاف من وحدات GPU كما في التدريب المسبق لم تعد ضرورية.

تكمن فائدة هذا الهيكل المفصول في أنه: يمكن استخدام حوسبة رخيصة موزعة عالميًا لعمل Rollout، وموارد عالية الأداء قليلة العدد لتحديث التدرج. هذا غير ممكن اقتصاديًا في نماذج الحوسبة السحابية التقليدية، لكنه يصبح الحل الأمثل في شبكات لامركزية مع حوافز على السلسلة.

تطور تقنيات التعلم المعزز: من RLHF إلى التوافق القابل للتحقق

تتطور منهجية التعلم المعزز بسرعة، وهذا التطور يحدد بشكل جوهري مساحة الإمكانيات اللامركزية.

RLHF (التعلم المعزز من خلال ردود فعل البشر) هو نقطة البداية. عبر تقديم مرشحين متعددين، وتصنيف يدوي، وتدريب نماذج المكافأة، وتحسين السياسات باستخدام PPO، يتم محاذاة النموذج مع القيم البشرية. لكن قيوده تكمن في تكلفة التصنيف: استقطاب فرق التصنيف، والحفاظ على جودة التصنيف، ومعالجة العينات المثيرة للجدل — كلها عوائق في النمط التقليدي.

RLAIF (التعلم المعزز من خلال ردود فعل الذكاء الاصطناعي) يكسر هذه العوائق. باستخدام قاضٍ AI أو قاعدة قواعد بدلاً من التصنيف اليدوي، يمكن جعل توليد إشارات التفضيل عملية آلية وقابلة للتوسع. لقد جعلت شركات مثل Anthropic وOpenAI وDeepSeek هذا النموذج هو السائد، وهذا التحول مهم جدًا لـ Web3 — لأنه يعني أن الأتمتة يمكن أن تتم عبر العقود على السلسلة.

GRPO (تحسين السياسات النسبية الجماعية) هو الابتكار الرئيسي في DeepSeek-R1. بالمقارنة مع PPO التقليدي الذي يحتاج إلى شبكة Critic إضافية، يقلل GRPO بشكل كبير من استهلاك الحساب والذاكرة من خلال نمذجة توزيع الأفضلية داخل مجموعة الإجابات المرشحة. والأهم من ذلك، أن قدرته على التحمل غير المتزامن أقوى، ويتكيف بشكل طبيعي مع تأخير الشبكة المتعدد الخطوات وانقطاع العقد.

التعلم المعزز القابل للتحقق (RLVR) هو الاتجاه المستقبلي. من خلال إدخال التحقق الرياضي في كامل عملية توليد المكافآت واستخدامها، يهدف إلى أن تأتي المكافآت من قواعد وحقائق قابلة لإعادة الإنتاج، بدلاً من التفضيلات البشرية الغامضة. هذا ضروري جدًا للشبكات غير المصرح بها — بدون التحقق، يمكن أن يُبالغ المعدنون في «تخصيص المكافآت» (التصيد)، مما يؤدي إلى انهيار النظام.

خارطة الطريق التقنية لستة مشاريع رائدة

Prime Intellect: حدود الهندسة للتعلم المعزز غير المتزامن

طموح Prime Intellect هو بناء سوق حوسبة عالمي مفتوح، حيث يمكن لأي وحدة GPU ذات أداء معين أن تنضم أو تنسحب في أي وقت، لتشكيل شبكة حوسبة ذاتية الإصلاح.

المحرك الأساسي هو إطار prime-rl، وهو محرك تعلم معزز مخصص لبيئات غير متزامنة موزعة. يتطلب PPO التقليدي تزامنًا كاملًا بين جميع العقد، وإذا انقطع أحدها أو تأخر، يتوقف النظام بأكمله؛ أما prime-rl فيتخلى تمامًا عن هذا النمط التزامني، ويفصل بين Rollout وTrainer بشكل كامل.

جانب الاستنتاج (Rollout Worker) يدمج محرك vLLM، ويستخدم قدراته في Attention المصفحة والمعالجة الدفعية المستمرة لتحقيق أعلى معدل إنتاجية. جانب التدريب (Trainer) يسحب البيانات بشكل غير متزامن من مخزن التجارب المشترك، ويقوم بتحديث التدرج دون انتظار جميع العاملين.

عائلة نماذج INTELLECT تثبت قدرات هذا الإطار:

• INTELLECT-1 (10B، أكتوبر 2024): أثبت أن التدريب عبر شبكات غير متجانسة عبر ثلاث قارات ممكن، مع نسبة اتصال أقل من 2%، واستغلال حوسبة بنسبة 98%
• INTELLECT-2 (32B، أبريل 2025): أول نموذج «RL بدون إذن» يثبت الاستقرار في بيئات تأخير متعدد وتزامن غير متزامن
• INTELLECT-3 (106B MoE، نوفمبر 2025): يستخدم بنية متفرقة تنشط 12B فقط، ويُدرّب على 512×H200، ويقترب أداؤه أو يتجاوز نماذج مغلقة أكبر بكثير (AIME 90.8%، GPQA 74.4%، MMLU-Pro 81.9%)

وتدعم هذه النماذج بروتوكولات الاتصال مثل OpenDiLoCo (الذي يقلل من حجم الاتصالات عبر المناطق بمئات المرات) وTopLoc (الذي يضمن صحة الاستنتاج عبر بصمات التحقق والصناديق الرملية). معًا، يثبتون أن التدريب اللامركزي للتعلم المعزز ليس ممكنًا فحسب، بل يمكن أن ينتج نماذج ذكاء عالمية المستوى.

Gensyn: الذكاء الجماعي «التوليد-التقييم-التحديث»

مفهوم Gensyn أقرب إلى «علم الاجتماع» — فهو لا يقتصر على توزيع المهام وجمع النتائج، بل يحاكي عملية التعلم التعاوني للمجتمع البشري.

RL Swarm يقسم الحلقة الأساسية للتعلم المعزز إلى ثلاثة أدوار في تنظيم P2P:

• Solvers (المنفذون): ينفذون استنتاج النموذج ويديرون Rollout محليًا، ولا تتأثر أداؤهم باختلاف الأجهزة
• Proposers (المقترحون): يولدون المهام بشكل ديناميكي (مثل مسائل رياضيات، تحديات برمجية)، ويدعمون التعلم المنهجي (Curriculum Learning) لتكييف الصعوبة
• Evaluators (المقيمون): يستخدمون نموذج حكم ثابت أو قواعد لتقييم Rollout المحلي، ويولّدون مكافأة محلية

يشكل الثلاثة حلقة مغلقة غير مركزية. والأجمل أن هذا الهيكل يتطابق بشكل طبيعي مع شبكة البلوكشين — المعدنون هم Solvers، والمودعون هم Evaluators، وDAO هو Proposers.

SAPO (سياسة العينة الجماعية لتحسين السياسات) هو خوارزمية تحسين متوافقة مع هذا النظام. فكرتها الأساسية هي «مشاركة Rollout، وليس مشاركة التدرج» — حيث يأخذ كل عقدة عينات من مخزون Rollout العالمي، ويعتبرها مولدة محليًا، مما يحافظ على استقرار التوافق في بيئة غير مركزية ذات تأخير كبير. بالمقارنة مع PPO الذي يعتمد على Critic، أو GRPO الذي يعتمد على مزايا داخل المجموعة، يتيح SAPO مشاركة منخفضة النطاق الترددي بشكل فعال حتى مع GPU للمستهلكين.

Nous Research: بيئة استنتاج قابلة للتحقق ونظام بيئي مغلق

Nous Research لا تبني نظام تعلم معزز فحسب، بل تبني بنية معرفية تتطور ذاتيًا بشكل مستمر.

مكوناتها الأساسية تشبه تروس آلة دقيقة: Hermes (واجهة النموذج) → Atropos (بيئة التحقق) → DisTrO (ضغط الاتصالات) → Psyche (الشبكة اللامركزية) → World Sim (محاكاة معقدة) → Forge (جمع البيانات).

Atropos هو العنصر الحاسم — فهو يدمج الإشعارات، واستدعاء الأدوات، وتنفيذ الشفرات، والتفاعل متعدد الجولات في بيئة RL موحدة، ويستطيع التحقق من صحة المخرجات مباشرة، مما يوفر إشارة مكافأة حاسمة. هذا يلغي الاعتماد على التصنيفات البشرية المكلفة والتي لا يمكن توسيعها.

الأهم أن Atropos في شبكة Psyche يعمل كـ «حكم موثوق». من خلال الحساب القابل للتحقق والحوافز على السلسلة، يمكنه إثبات أن كل عقدة حسّنت الاستراتيجية بشكل حقيقي، ويدعم آلية إثبات التعلم (Proof-of-Learning)، مما يحل بشكل جذري أصعب مشكلة في RL الموزع — وهي «موثوقية إشارة المكافأة».

DisTrO هو محسن يهدف إلى حل مشكلة النطاق الترددي الأساسية في التدريب الموزع: تقليل استهلاك النطاق الترددي. عبر ضغط التدرج وفصل الزخم، يمكنه تقليل تكاليف الاتصال بعدة مراتب، مما يسمح للأسر ذات الاتصال العادي بتشغيل تدريب نماذج كبيرة. مع تنسيق الجدولة على السلسلة بواسطة Psyche، يجمع هذا النظام بين التدريب الموزع «المثالي» و«الواقعي».

Gradient Network: طيف بروتوكول الذكاء المفتوح

من منظور أوسع، Gradient يبني «طيف بروتوكول الذكاء المفتوح» كامل — من الاتصالات الأساسية إلى التطبيقات العليا، مع وحدات مدمجة.

Echo هو إطار التدريب للتعلم المعزز، ويهدف إلى فصل مسارات التدريب، والاستنتاج، والبيانات، بحيث يمكن لكل منها التوسع بشكل مستقل في بيئات غير متجانسة.

يعتمد Echo على «هيكلية مزدوجة من الاستنتاج والتدريب»:

• مجموعة الاستنتاج (Inference Swarm) تتكون من GPU للمستهلكين والأجهزة الطرفية، وتستخدم محرك Parallax لتحقيق توافر عالي للعينات
• مجموعة التدريب (Training Swarm) تتكون من GPU موزعة حول العالم، وتقوم بتحديث التدرج ومزامنة المعلمات

هاتان المجموعتان تعملان بشكل مستقل، مع وجود بروتوكولات تزامن:

• نمط السحب التتابعي (الأولوية للدقة): قبل سحب مسارات جديدة، يُجبر جانب التدريب عقد الاستنتاج على تحديث النموذج، لضمان حداثة المسارات
• نمط الإرسال والاستقبال غير المتزامن (الأولوية للكفاءة): يستمر جانب الاستنتاج في توليد مسارات ذات علامات إصدار، ويستهلكها جانب التدريب وفقًا لسرعته، لتعظيم استغلال الأجهزة

هذه الآلية تُمكن التدريب على التعلم المعزز عبر شبكات غير متجانسة على مستوى العالم، مع الحفاظ على استقرار التوافق.

Grail و Bittensor: طبقة الثقة المدفوعة بالتشفير

يُبنى Bittensor عبر آلية Yuma اتفاقية إجماع لإنشاء شبكة مكافآت كثيفة ومرنة وغير مستقرة. وSN81 Grail يبني فوقها طبقة تنفيذ تعلم معزز قابلة للتحقق.

هدف Grail هو إثبات صحة كل عملية Rollout للتعلم المعزز وربطها بهوية النموذج باستخدام التشفير. تتضمن آليته ثلاث طبقات:

1. توليد تحديات حتمية: باستخدام drand وهاش الكتلة، يُنتج تحديات غير متوقعة وقابلة لإعادة الإنتاج (مثل SAT وGSM8K)، ويمنع الغش المسبق
2. التحقق منخفض التكلفة: عبر استعلامات PRF وsketch commitments، يمكن للمحققين التحقق من logprob وعمليات الاستنتاج بدقة منخفضة، والتأكد من أن المسار ناتج عن النموذج المعلن
3. ربط هوية النموذج: يربط عملية الاستنتاج ببصمة أوزان النموذج، لضمان أن استبدال النموذج أو إعادة تشغيل النتائج يُكتشف على الفور

بناءً على هذه الآلية، يحقق Grail نوعًا من التحقق في التحديث اللاحق (Post-Training) على نماذج مثل Qwen2.5-1.5B، حيث رفع دقة MATH من 12.7% إلى 47.6%، مع مقاومة الغش وتعزيز قدرات النموذج بشكل كبير.

Fraction AI: الظهور الذكي في المنافسة

الابتكار في Fraction AI هو إعادة صياغة كاملة لنموذج RLHF — استبدال المكافآت الثابتة والتصنيفات اليدوية ببيئة تنافسية مفتوحة ومتغيرة.

يواجه الوكيل خصومه في Spaces (مجالات مهام معزولة)، وتُشكل تصنيفاتهم النسبية وتقييمات AI Judge مكافآت فورية. يتحول التوافق إلى لعبة متعددة الوكلاء مستمرة، حيث تأتي المكافآت من خصوم ومقيمين يتطورون باستمرار، مما يمنع بشكل طبيعي استغلال نماذج المكافآت.

الأربعة مكونات الرئيسية للنظام:

• Agents (العملاء): وحدات استراتيجية خفيفة تعتمد على LLM مفتوحة المصدر، وتُحدّث عبر QLoRA منخفضة التكلفة
• Spaces (المساحات): بيئات مهام معزولة، يدخلها الوكلاء مقابل رسوم، ويحصلون على مكافآت بناءً على الفوز والخسارة
• AI Judges (القضاة): طبقة تقييم فورية مبنية على RLAIF، تقدم تقييمات لامركزية
• Proof-of-Learning (إثبات التعلم): يربط تحديث السياسات بنتائج التنافس، لضمان التحقق

جوهرًا، يبني Fraction AI محرك تطور «تعاوني بين الإنسان والآلة». من خلال هندسة الإشارات، يُنتج الوكلاء بشكل تلقائي كميات هائلة من بيانات التفضيل عالية الجودة، ويُكملون دورة «التعديل بدون ثقة» بشكل تجاري.

منطق التوافق في الهيكل: لماذا يلتقي التعلم المعزز مع Web3 حتمًا

على الرغم من اختلاف نقاط دخول المشاريع، فإن المنطق الأساسي لهياكلها مذهل في التماثل، حيث يتركز على: فصل - تحقق - حوافز.

الفصل هو النمط الافتراضي. يتم تفويض Rollout ذو الاتصال المنخفض إلى GPU للمستهلكين حول العالم، بينما تركز التحديثات ذات النطاق الترددي العالي على عدد قليل من العقد. هذا الفصل الطبيعي يتوافق مع طبيعة الشبكة اللامركزية غير المتجانسة.

التحقق هو البنية التحتية. يجب أن تضمن صحة الحسابات عبر تصميمات رياضية وآليات، مثل الحساب القابل للتحقق، وإثبات التعلم، والإثباتات التشفيرية — فهي لا تحل فقط مشكلة الثقة، بل تصبح ميزة تنافسية أساسية للشبكات اللامركزية.

الحوافز هي محرك التطور الذاتي. يكتمل حلقة الحوسبة، وتوليد البيانات، وتوزيع المكافآت، من خلال مكافآت رمزية، وعمليات Slashing لمنع الغش، مما يحافظ على استقرار وتطور الشبكة في بيئة مفتوحة.

التصور النهائي: ثلاثة مسارات تطورية متوازية

الاندماج بين التعلم المعزز وWeb3 يحمل فرصة حقيقية ليست في نسخ نسخة لامركزية من OpenAI، بل في إعادة كتابة «علاقات إنتاج الذكاء».

المسار الأول: شبكة تدريب وتوزيع لامركزية — تفويض Rollout القابل للتحقق إلى GPU طويلة الذيل، والتركيز على سوق استنتاج موثوق، ثم التطور إلى شبكات تعلم معزز مخصصة حسب المهام.

المسار الثاني: تحويل التفضيلات والمكافآت إلى أصول — ترميز وإدارة التفضيلات والمكافآت على السلسلة، وتحويل التغذية الراجعة عالية الجودة إلى أصول بيانات قابلة للتوزيع، بحيث يتحول المشاركون من «عمال تصنيف» إلى «مالكي حصص البيانات».

المسار الثالث: تطور متخصص في المجالات الدقيقة — في سيناريوهات ذات نتائج قابلة للتحقق، وأرباح قابلة للقياس، تنشأ وكلاء RL صغيرة وقوية، مثل منفذي استراتيجيات DeFi، ومولدي الشفرات، وحلولي المسائل الرياضية — بحيث يتم ربط تحسين السياسات وجني القيمة مباشرة.

هذه المسارات الثلاث تتجه نحو نفس النهاية: لم تعد عملية التدريب حكرًا على الشركات الكبرى، وتوزيع المكافآت والقيمة يصبح شفافًا وديمقراطيًا، وكل من يساهم بالحوسبة، والبيانات، والتحقق يمكنه أن يحصل على مقابل مناسب. التقاء التعلم المعزز مع Web3 هو في جوهره إعادة تعريف «من يملك الذكاء الاصطناعي» عبر الكود والحوافز.