حول التقنية

تعتبر نماذج MoE الهجينة الكبيرة مثل Nemotron-3-Super دقيقة ولكنها مكلفة في الخدمة. تحدد معلماتها النشطة وذاكرة التخزين المؤقت KV وحالة Mamba عدد المستخدمين الذين يمكن للعقدة…