تمت مساهمة هذا النموذج في Hugging Face Transformers في 2024-12-17.

Falcon3

نظرة عامة

يمثل Falcon3 تطورًا طبيعيًا عن الإصدارات السابقة، مع التركيز على توسيع قدرات النماذج في العلوم والرياضيات والبرمجة. تتضمن هذه الإصدار خمسة نماذج أساسية: Falcon3-1B-Base وFalcon3-3B-Base وFalcon3-Mamba-7B-Base وFalcon3-7B-Base وFalcon3-10B-Base. أثناء تطوير هذه النماذج، قمنا بتضمين عدة ابتكارات رئيسية تهدف إلى تحسين أداء النماذج مع خفض تكاليف التدريب:

تدريب مسبق واحد: أجرينا عملية تدريب مسبق واسعة النطاق واحدة على نموذج 7B، باستخدام 2048 شريحة GPU من نوع H100، مع الاستفادة من 14 تريليون رمز تتضمن بيانات من الويب، والكود، والعلوم والهندسة والرياضيات (STEM)، وبيانات عالية الجودة والمُنتقاة بعناية ومتعددة اللغات. تعميق النموذج لتحسين الاستدلال: بناءً على دراسات حديثة حول تأثير عمق النموذج، قمنا بزيادة حجم نموذج 7B ليصبح نموذجًا بـ 10B من المعلمات من خلال تكرار الطبقات الزائدة عن الحاجة، ثم مواصلة التدريب المسبق باستخدام 2 تريليون رمز من البيانات عالية الجودة. وقد أدى ذلك إلى إنتاج Falcon3-10B-Base الذي يحقق أداءً متقدمًا (state-of-the-art) في مهام zero-shot وfew-shot بين النماذج التي تقل معلماتها عن 13B. التقطير المعرفي للحصول على نماذج صغيرة أفضل: لتوفير بدائل مدمجة وفعالة، طورنا Falcon3-1B-Base وFalcon3-3B-Base بالاستعانة بتقنيات التقليم (pruning) والتقطير المعرفي (knowledge distillation)، باستخدام أقل من 100 تريليون رمز من البيانات عالية الجودة والمُنتقاة بعناية، مما يعيد تعريف كفاءة التدريب المسبق.

الموارد

• منشور مدونة
• النماذج على Huggingface