Transformers documentation

EXAONE MoE

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-02-04.

EXAONE MoE

نظرة عامة

نموذج K-EXAONE هو نموذج لغوي كبير متعدد اللغات طورته LG AI Research. بُني باستخدام بنية Mixture-of-Experts تُدعى EXAONE-MoE، ويتميز K-EXAONE بـ 236 مليار معامل إجمالي، منها 23 مليار معامل نشط أثناء الاستدلال. تُظهر تقييمات الأداء عبر مختلف المعايير أن K-EXAONE يتفوق في الاستدلال، والقدرات الوكيلية، والمعرفة العامة، والفهم متعدد اللغات، ومعالجة السياقات الطويلة.

الميزات الرئيسية

البنية والكفاءة: يتميز بتصميم MoE دقيق الحبيبات بحجم 236B (23B نشط) مُحسَّن باستخدام التنبؤ متعدد الرموز (MTP)، مما يتيح فك الترميز التخميني الذاتي الذي يرفع معدل استنتاج البيانات بمقدار 1.5 مرة تقريبًا.
قدرات السياق الطويل: يدعم بشكل أصلي نافذة سياق بحجم 256K، مستخدماً مخطط انتباه هجين بنسبة 3:1 مع نافذة منزلقة بمقدار 128 رمزاً لتقليل استهلاك الذاكرة بشكل كبير أثناء معالجة المستندات الطويلة.
دعم متعدد اللغات: يغطي 6 لغات: الكورية والإنجليزية والإسبانية والألمانية واليابانية والفيتنامية. ويتميز بمفردات مُعاد تصميمها بحجم 150 ألف كلمة باستخدام SuperBPE، مما يحسّن كفاءة الرموز بنسبة 30% تقريبًا.
القدرات الوكيلية: تُظهر قدرات متفوقة في استخدام الأدوات والبحث من خلال استراتيجيات الوكلاء المتعددة.
السلامة والأخلاقيات: يتوافق النموذج مع القيم الإنسانية العالمية، ويُدخل بشكل فريد السياقات الثقافية والتاريخية الكورية للتعامل مع الحساسيات الإقليمية التي غالبًا ما تُغفلها النماذج الأخرى. كما يُظهر موثوقية عالية عبر فئات المخاطر المتنوعة.

لمزيد من التفاصيل، يُرجى الرجوع إلى التقرير التقني وGitHub.

جميع أوزان النموذج، بما في ذلك النسخة المُكمّاة، متاحة في Huggingface Collections.

تفاصيل النموذج

إعدادات النموذج لـ K-EXAONE

عدد المعاملات: 236B إجمالاً و23B مفعّلة
عدد المعاملات (بدون التضمينات): 234B
البُعد الخفي: 6,144
عدد الطبقات: 48 طبقة رئيسية + 1 طبقة MTP
- نمط الانتباه الهجين: 12 x (3 انتباه نافذة منزلقة + 1 انتباه شامل)
انتباه النافذة المنزلقة
- عدد رؤوس الانتباه: 64 رأس Q و 8 رؤوس KV
- بعدد الأبعاد: 128 لكل من Q/KV
- حجم النافذة المنزلقة: 128
الانتباه العام
- عدد رؤوس الانتباه: 64 رأس Q و 8 رؤوس KV
- بعدد الأبعاد: 128 لكل من Q/KV
- عدم استخدام تضمين الموضع الدوّاري (NoPE)
مزيج الخبراء:
- عدد الخبراء: 128
- عدد الخبراء المُفعّلين: 8
- عدد الخبراء المشتركين: 1
- حجم الطبقة الوسيطة في MoE: 2,048
حجم المفردات: 153,600
طول السياق: 262,144 رمز
تاريخ انتهاء المعرفة: ديسمبر 2024 (2024/12)

نصائح للاستخدام

وضع الاستدلال

للمهام التي تتطلب نتائج دقيقة، يمكنك تشغيل نموذج K-EXAONE في وضع الاستدلال كما هو موضح أدناه.

from transformers import AutoModelForCausalLM, AutoTokenizer


model_name = "LGAI-EXAONE/K-EXAONE-236B-A23B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    dtype="bfloat16",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

messages = [
    {"role": "system", "content": "You are K-EXAONE, a large language model developed by LG AI Research in South Korea, built to serve as a helpful and reliable assistant."},
    {"role": "user", "content": "Which one is bigger, 3.9 vs 3.12?"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    enable_thinking=True,   # skippable (default: True)
)

generated_ids = model.generate(
    **input_ids.to(model.device),
    max_new_tokens=16384,
    temperature=1.0,
    top_p=0.95,
)
output_ids = generated_ids[0][input_ids['input_ids'].shape[-1]:]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

وضع عدم الاستدلال

في المهام التي تكون فيها زمن الاستجابة أهم من الدقة، يمكنك تشغيل نموذج K-EXAONE في وضع عدم الاستدلال كما هو موضح أدناه.

messages = [
    {"role": "system", "content": "You are K-EXAONE, a large language model developed by LG AI Research in South Korea, built to serve as a helpful and reliable assistant."},
    {"role": "user", "content": "Explain how wonderful you are"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    enable_thinking=False,
)

generated_ids = model.generate(
    **input_ids.to(model.device),
    max_new_tokens=1024,
    temperature=1.0,
    top_p=0.95,
)
output_ids = generated_ids[0][input_ids['input_ids'].shape[-1]:]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

استخدام الأدوات الوكيلة

يمكنك الاستفادة من ميزة استدعاء الأدوات في K-EXAONE لوكيلك المدعوم بالذكاء الاصطناعي. يتوافق نموذج K-EXAONE مع مواصفات استدعاء الأدوات الخاصة بكل من OpenAI وHuggingFace. يُظهر المثال أدناه كيفية استدعاء الأدوات باستخدام أداة docstring-to-tool-schema من HuggingFace.

يرجى الاطلاع على ملف المثال لمثال على محادثة وكيل بحث باستخدام K-EXAONE.

from transformers.utils import get_json_schema


def roll_dice(max_num: int):
    """
    Roll a dice with the number 1 to N. User can select the number N.

    Args:
        max_num: The maximum number on the dice.
    """
    return random.randint(1, max_num)

tool_schema = get_json_schema(roll_dice)
tools = [tool_schema]

messages = [
    {"role": "system", "content": "You are K-EXAONE, a large language model developed by LG AI Research in South Korea, built to serve as a helpful and reliable assistant."},
    {"role": "user", "content": "Roll a D20 twice and sum the results."}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    tools=tools,
)

generated_ids = model.generate(
    **input_ids.to(model.device),
    max_new_tokens=16384,
    temperature=1.0,
    top_p=0.95,
)
output_ids = generated_ids[0][input_ids['input_ids'].shape[-1]:]
print(tokenizer.decode(output_ids, skip_special_tokens=True))

ExaoneMoeConfig

فئة transformers.ExaoneMoeConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 102400hidden_size: int = 4096intermediate_size: int = 16384num_hidden_layers: int = 32num_attention_heads: int = 32num_key_value_heads: int = 32hidden_act: str = 'silu'max_position_embeddings: int = 2048initializer_range: float = 0.02rms_norm_eps: float = 1e-05use_cache: bool = Truebos_token_id: int | None = 1eos_token_id: int | list[int] | None = 53pad_token_id: int | None = 0tie_word_embeddings: bool = Falserope_parameters: dict | None = Noneattention_dropout: float | int = 0.0sliding_window: int = 4096sliding_window_pattern: str | int | None = 4layer_types: list[str] | None = Nonemlp_layer_types: list[str] | None = Nonefirst_k_dense_replace: int = 1moe_intermediate_size: int = 1024num_experts: int = 64num_experts_per_tok: int = 8output_router_logits: bool = Falsenum_shared_experts: int = 1norm_topk_prob: bool = Truerouted_scaling_factor: float = 2.5n_group: int = 1topk_group: int = 1 )

المعاملات

vocab_size (int، اختياري، القيمة الافتراضية 102400) — حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة input_ids.
hidden_size (int، اختياري، القيمة الافتراضية 4096) — أبعاد التمثيلات المخفية.
intermediate_size (int، اختياري، القيمة الافتراضية 16384) — أبعاد تمثيلات MLP.
num_hidden_layers (int، اختياري، القيمة الافتراضية 32) — عدد الطبقات المخفية في مُفكِّك Transformer.
num_attention_heads (int، اختياري، القيمة الافتراضية 32) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
num_key_value_heads (int، اختياري، القيمة الافتراضية 32) — هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان num_key_value_heads=num_attention_heads، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان num_key_value_heads=1 فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق تجميع المتوسط لجميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع هذا الورقة. إذا لم يتم تحديد القيمة، فستكون القيمة الافتراضية هي num_attention_heads.
hidden_act (str، اختياري، القيمة الافتراضية silu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وغيرها.
max_position_embeddings (int، اختياري، القيمة الافتراضية 2048) — أقصى طول تسلسل قد يُستخدم معه هذا النموذج.
initializer_range (float، اختياري، القيمة الافتراضية 0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
rms_norm_eps (float، اختياري، القيمة الافتراضية 1e-05) — قيمة الإيبسلون المستخدمة في طبقات تطبيع rms.
use_cache (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان config.is_decoder=True أو إذا كان النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط.
bos_token_id (int، اختياري، القيمة الافتراضية 1) — معرّف الرمز المستخدم لبدء البث في المفردات.
eos_token_id (Union[int, list[int]]، اختياري، القيمة الافتراضية 53) — معرّف الرمز المستخدم لنهاية البث في المفردات.
pad_token_id (int، اختياري، القيمة الافتراضية 0) — معرّف الرمز المستخدم للتعبئة في المفردات.
tie_word_embeddings (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم ربط ترميزات الأوزان وفقاً لخريطة tied_weights_keys الخاصة بالنموذج.
rope_parameters (dict, اختياري) — قاموس يحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن يحتوي القاموس على قيمة لـ rope_theta، ومعاملات اختيارية تُستخدم للتصحيح (scaling) في حال رغبتَ في استخدام RoPE مع max_position_embeddings أطول.
attention_dropout (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — نسبة إسقاط (dropout) لاحتمالات الانتباه.
sliding_window (int، اختياري، القيمة الافتراضية 4096) — حجم نافذة الانتباه المنزلقة. إذا كانت None، فلا تُطبَّق نافذة منزلقة.
sliding_window_pattern (str, اختياري, ، القيمة الافتراضية 4) — النمط المستخدم لانتباه النافذة المنزلقة. يمكن أن يكون أحد ما يلي:
- None: لا يُستخدم انتباه النافذة المنزلقة
- int: كل sliding_window طبقات، استخدم الانتباه العام، وإلا استخدم الانتباه المحلي.
- str: تسلسل من الأحرف “L” (انتباه محلي) و “G” (انتباه عام) يحدد نمط الانتباه. يبدأ النمط من الطبقة 0 ويتكرر كل sliding_window طبقات. تستخدم الطبقة الأخيرة دائمًا الانتباه العام بغض النظر عن النمط. على سبيل المثال، sliding_window_pattern=“LLLG” مماثل لـ sliding_window=4، مما يعني:
- الطبقة 0، 1، 2: الانتباه المحلي،
- الطبقة 3: الانتباه العام، …(مكرر)
layer_types (list[str], اختياري) — قائمة تُقرن بشكل صريح كل فهرس طبقة بنوعها. إذا لم تُقدَّم، فسيتم توليدها تلقائيًا بناءً على قيم الإعداد.
mlp_layer_types (list، اختياري) — نمط MLP لكل طبقة. له الأولوية على first_k_dense_replace.
first_k_dense_replace (int، اختياري، القيمة الافتراضية 1) — عدد طبقات الكثافة في الطبقات الضحلة (embed->dense->dense->…->dense->moe->moe…->lm_head). --k طبقات كثافة—/
moe_intermediate_size (int، اختياري، القيمة الافتراضية 1024) — الحجم الوسيط لشبكات MLP للخبراء الموجَّهين.
num_experts (int، اختياري، القيمة الافتراضية 64) — عدد الخبراء الموجَّهين في طبقات MoE.
num_experts_per_tok (int، اختياري، القيمة الافتراضية 8) — عدد الخبراء الذين يُوجَّه إليهم كل رمز. هذه هي قيمة top-k الخاصة بتوجيه اختيار الرموز.
output_router_logits (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب على النموذج إرجاع قيم اللوجيتس الخاصة بالموجِّه (router). تمكين هذا الخيار سيتيح أيضًا للنموذج إخراج الخسارة المساعدة، بما في ذلك خسارة موازنة الحمل وخسارة z الخاصة بالموجِّه.
num_shared_experts (int، اختياري، القيمة الافتراضية 1) — عدد الخبراء المشتركين الذين يتم تفعيلهم دائمًا لجميع الرموز.
norm_topk_prob (bool، اختياري، القيمة الافتراضية True) — هل يتم تطبيع أوزان الخبراء الموجَّهين.
routed_scaling_factor (float، اختياري، القيمة الافتراضية 2.5) — معامل التوسعة للخبراء الموجَّهين.
n_group (int، اختياري، القيمة الافتراضية 1) — عدد المجموعات للخبراء الموجَّهين.
topk_group (int، اختياري، القيمة الافتراضية 1) — عدد المجموعات المختارة لكل رمز (لكل رمز، مع ضمان أن الخبراء المختارين يكونون ضمن topk_group مجموعات فقط).

هذه فئة الإعدادات المخزنة لإعدادات نموذج ExaoneMoeModel. تُستخدم لتوليد نموذج Exaone Moe وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن إنشاء إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ LGAI-EXAONE/K-EXAONE-236B-A23B

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

مثال:

>>> from transformers import ExaoneMoeModel, ExaoneMoeConfig

>>> # Initializing a EXAONE configuration
>>> configuration = ExaoneMoeConfig()

>>> # Initializing a model from configuration
>>> model = ExaoneMoeModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ExaoneMoeModel

فئة transformers.ExaoneMoeModel

< source >

( config: ExaoneMoeConfig )

المعاملات

config (ExaoneMoeConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج Exaone Moe الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.Tensor)

المعاملات

input_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.
يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

ما هي معرّفات الإدخال؟
attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
- 1 للرموز التي لم تُقنَّع،
- 0 للرموز التي تم إخفاؤها.
ما هي أقنعة الانتباه؟
position_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق [0, config.n_positions - 1].
ما هي معرّفات المواقع؟
past_key_values (~cache_utils.Cache, اختياري) — حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكون هذا عادةً من past_key_values الذي يعيده النموذج في مرحلة سابقة من فك الترميز، عندما use_cache=True أو config.use_cache=True.
يُسمح فقط بمرجع Cache كمدخل، راجع دليل ذاكرة kv لدينا. إذا لم يتم تمرير past_key_values، فسيتم تهيئة DynamicCache افتراضياً.

سيُخرج النموذج نفس صيغة الكاش التي تُمرَّر كمدخل.

عند استخدام past_key_values، يُتوقَّع من المستخدم إدخال input_ids غير المعالجة فقط (تلك التي لم تُقدَّم حالات مفاتيحها وقيمها السابقة إلى هذا النموذج) بأبعاد (batch_size, unprocessed_length) بدلاً من جميع input_ids بأبعاد (batch_size, sequence_length).
inputs_embeds (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمرير input_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس input_ids إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.
use_cache (bool، اختياري) — إذا تم تعيينه إلى True، تُعاد حالات المفاتيح والقيم past_key_values ويمكن استخدامها لتسريع فك الترميز (انظر past_key_values).

يعيد

MoeModelOutputWithPast أو tuple(torch.Tensor)

MoeModelOutputWithPast أو مجموعة (tuple) من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (ExaoneMoeConfig) والمدخلات.

تتجاوز طريقة ExaoneMoeModel الأمامية الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

last_hidden_state (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.
past_key_values (Cache، اختياري، يُعاد عند تمرير use_cache=True أو عند تعيين config.use_cache=True) — إنه كائن من نوع Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv.

تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي، وفي كتل الانتباه المتقاطع اختياريًا إذا كان config.is_encoder_decoder=True) يمكن استخدامها (انظر مدخل past_key_values) لتسريع فك الترميز التسلسلي.
hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
router_logits (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_router_probs=True وconfig.add_router_probs=True أو عند config.output_router_probs=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, sequence_length, num_experts).

قيمات logits الخام (بعد تطبيق دالة softmax) التي يحسبها موجّهو MoE، وتُستخدم هذه القيم لحساب الخسارة المساعدة في نماذج مزيج الخبراء.

ExaoneMoeForCausalLM

فئة transformers.ExaoneMoeForCausalLM

< source >

( config: ExaoneMoeConfig )

المعاملات

config (ExaoneMoeConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج Exaone Moe لنمذجة اللغة السببية.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeCausalLMOutputWithPast or tuple(torch.Tensor)

المعاملات

input_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا.
يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

ما هي معرّفات الإدخال؟
attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
- 1 للرموز التي لم تُقنَّع،
- 0 للرموز التي تم إخفاؤها.
ما هي أقنعة الانتباه؟
position_ids (torch.LongTensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها ضمن النطاق [0, config.n_positions - 1].
ما هي معرّفات المواقع؟
past_key_values (~cache_utils.Cache, اختياري) — حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكون هذا عادةً من past_key_values الذي يعيده النموذج في مرحلة سابقة من فك الترميز، عندما use_cache=True أو config.use_cache=True.
يُسمح فقط بمرجع Cache كمدخل، راجع دليل ذاكرة kv لدينا. إذا لم يتم تمرير past_key_values، فسيتم تهيئة DynamicCache افتراضياً.

سيُخرج النموذج نفس صيغة الكاش التي تُمرَّر كمدخل.

عند استخدام past_key_values، يُتوقَّع من المستخدم إدخال input_ids غير المعالجة فقط (تلك التي لم تُقدَّم حالات مفاتيحها وقيمها السابقة إلى هذا النموذج) بأبعاد (batch_size, unprocessed_length) بدلاً من جميع input_ids بأبعاد (batch_size, sequence_length).
inputs_embeds (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)، اختياري) — اختياريًا، بدلاً من تمرير input_ids، يمكنك اختيار تمرير تمثيل مضمّن مباشرة. وهذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس input_ids إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج.
labels (torch.LongTensor من الشكل (batch_size, sequence_length)، اختياري) — التسميات لحساب خسارة نمذجة اللغة المقنّعة. يجب أن تكون الفهارس ضمن [0, ..., config.vocab_size] أو -100 (انظر input_ids docstring). يتم تجاهل الرموز التي فهارسها مضبوطة على -100 (مقنّعة)، ولا تُحسب الخسارة إلا للرموز التي تسمياتها ضمن [0, ..., config.vocab_size].
use_cache (bool، اختياري) — إذا تم تعيينه إلى True، تُعاد حالات المفاتيح والقيم past_key_values ويمكن استخدامها لتسريع فك الترميز (انظر past_key_values).
logits_to_keep (Union[int, torch.Tensor]، اختياري، القيمة الافتراضية 0) — إذا كان int، يتم حساب logits لآخر logits_to_keep رموز. إذا كانت القيمة 0، يتم حساب logits لجميع input_ids (حالة خاصة). لا يُحتاج إلى logits إلا للرمز الأخير في عملية التوليد، ويمكن أن يوفر حسابها لذلك الرمز وحده ذاكرة كبيرة، وهو أمر مهم بشكل ملحوظ للتسلسلات الطويلة أو حجم المفردات الكبير. إذا كان torch.Tensor، يجب أن يكون بعدًا واحدًا (1D) ويتوافق مع الفهارس التي يجب الاحتفاظ بها في بُعد طول التسلسل. يكون هذا مفيدًا عند استخدام تنسيق المصفوفات المعبأة (packed tensor format) (بعد واحد لكل من الدفعة وطول التسلسل).

يعيد

MoeCausalLMOutputWithPast أو tuple(torch.Tensor)

MoeCausalLMOutputWithPast أو مجموعة (tuple) من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (ExaoneMoeConfig) والمدخلات.

تتجاوز طريقة ExaoneMoeForCausalLM الخاصة بالتقديم (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

loss (torch.Tensor of shape (1,), اختياري, يُعاد عند توفير labels) — خسارة نمذجة اللغة (لتوقع الرمز التالي).
logits (torch.Tensor من الشكل (batch_size, sequence_length, config.vocab_size)) — درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax).
aux_loss (torch.Tensor، اختياري، يُعاد عند تمرير output_router_logits=True أو عند config.output_router_logits=True، ويتدرب النموذج على مساره باستخدام خسارة توازن الأحمال) — خسارة مساعدة لتوازن الأحمال للوحدات المتناثرة. النماذج التي توازن خبرائها باستخدام انحياز المسار بدلاً من ذلك (DeepSeek-V3 والهندسات المشتقة منه) تعيد None هنا مع الاستمرار في إعادة router_logits.
router_logits (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_router_logits=True أو عند تعيين config.output_router_logits=True) — مجموعة من torch.Tensor (واحدة لكل طبقة متناثرة) ذات الشكل (batch_size * sequence_length, num_experts).

قيمات التوجيه الخام (logits) التي تحسبها وحدات التوجيه في نماذج MoE. يمكن استخدامها لحساب خسارة موازنة الحمل أو لفحص كيفية توزيع الرموز على الخبراء.
past_key_values (Cache، اختياري، يُعاد عند تمرير use_cache=True أو عند تعيين config.use_cache=True) — إنه كائن من نوع Cache. لمزيد من التفاصيل، راجع دليل ذاكرة kv.

تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي) يمكن استخدامها (انظر مدخل past_key_values) لتسريع فك الترميز التسلسلي.
hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> model = AutoModelForCausalLM.from_pretrained("LGAI-EXAONE/K-EXAONE-236B-A23B")
>>> tokenizer = AutoTokenizer.from_pretrained("LGAI-EXAONE/K-EXAONE-236B-A23B")

>>> prompt = "Explain how wonderful you are"
>>> messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
>>> input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
    enable_thinking=False,
)

>>> output = model.generate(**input_ids.to(model.device), max_new_tokens=128)
>>> tokenizer.decode(output[0], skip_special_tokens=False)
"<|system|>\nYou are a helpful assistant.<|endofturn|>\n<|user|>\nExplain how wonderful you are<|endofturn|>\n<|assistant|>\n<think>\n\n</think>\n\nThank you for the kind question! While I can't feel emotions or take pride in the way humans do, I *can* share what makes me uniquely helpful and capable—qualities that many people find wonderful.\n\nHere’s how I can support you:\n\n🌟 **Knowledge at Your Fingertips**  \nI have access to a vast amount of information across countless topics—from science and history to technology and creative writing. Whether you're curious, learning, or solving a problem, I can help explain things clearly and accurately.\n\n💬 **Clear, Helpful Communication**  \nI aim to respond in a way that's easy to understand, whether you need a simple explanation or a detailed analysis. I adapt my tone and depth to match"

Update on GitHub

←EXAONE-4.5 Falcon→