أعلنت بايدو عن إطلاق ERNIE 5.5 Flash Base، وهو نموذج أساسي مفتوح المصدر مبني على بنية مزيج الخبراء المتناثرة (MoE) بإجمالي 280 مليار معامل. وبحسب بايدو، يُفعَّل 14 مليار معامل فقط لكل رمز، وقد دُرِّب النموذج مسبقاً من الصفر على 33.5 تريليون رمز بسياق تدريب يصل إلى 128,000 رمز.
ويُعدّ هذا الإصدار لافتاً لأن بايدو تنشر نقطة التحقق الخام من التدريب المسبق دون تدريب وسيط أو لاحق أو ضبط دقيق. ويمكن للمطورين استخدام الأوزان كنقطة انطلاق للتكيّف مع المجالات وضبط التعليمات وأبحاث التعلم المعزز، ويُتوقّع أن يتبعها إصدار مُدرَّب لاحقاً.
مواصفات ERNIE 5.5 Flash Base وبنيتها
صمّمت بايدو ERNIE 5.5 Flash Base حول الكفاءة. تستخدم معظم طبقاته البالغ عددها 43 طبقة انتباه مضغوطاً بشدة (HCA)، الذي يضغط كل 128 رمزاً في مدخل مخزّن واحد، بينما تحتفظ طبقة من كل سبع بالوصول على مستوى الرمز إلى السياق الكامل باستخدام انتباه كامن متعدد الرؤوس (MLA). ويقلّل هذا النهج الهجين تكلفة ذاكرة KV مع السماح للنموذج برؤية التسلسل كاملاً.
كما يقدّم النموذج نظام MoE متعدد الموجّهات يستبدل الموجّه الواحد بعدة موجّهات سيغمويد مهيّأة بشكل مستقل، مما يحسّن اختيار الخبراء خاصة في الطبقات المتوسطة والعميقة. وتستخدم جميع الطبقات عدا الأولى كتلة تغذية أمامية MoE، ويُستبدل الاتصال المتبقي القياسي بتيارات متبقية متوازية mHC.
- إجمالي 280 مليار معامل مع تفعيل 14 مليار معامل لكل رمز
- تدريب مسبق على 33.5 تريليون رمز بسياق تدريب 128 ألف رمز
- يدعم حتى مليون رمز للضبط الدقيق والاستدلال
- 43 طبقة Transformer، حجم مخفي 4096، و64 رأس انتباه
