Hugging Face's logo

Diffusers documentation

TransformerTemporalModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TransformerTemporalModel

نموذج Transformer للبيانات المشابهة للفيديو.

TransformerTemporalModel

فئة diffusers.TransformerTemporalModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0norm_num_groups: int = 32cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int | None = Noneactivation_fn: str = 'geglu'norm_elementwise_affine: bool = Truedouble_self_attention: bool = Truepositional_embeddings: str | None = Nonenum_positional_embeddings: int | None = None )

المعاملات

  • num_attention_heads (int، اختياري، القيمة الافتراضية 16) — عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس.
  • attention_head_dim (int، اختياري، القيمة الافتراضية 88) — عدد القنوات في كل رأس.
  • in_channels (int، اختياري) — عدد القنوات في المدخلات والمخرجات (حدد ذلك إذا كانت المدخلات مستمرة).
  • num_layers (int، اختياري، القيمة الافتراضية 1) — عدد طبقات كتل Transformer التي سيتم استخدامها.
  • dropout (float, اختياري، القيمة الافتراضية 0.0) — احتمال dropout المستخدم.
  • cross_attention_dim (int، اختياري) — عدد أبعاد encoder_hidden_states التي سيتم استخدامها.
  • attention_bias (bool، اختياري) — تكوين ما إذا كان ينبغي أن يحتوي انتباه TransformerBlock على معامل انحياز.
  • sample_size (int، اختياري) — عرض الصور الكامنة (يُحدد إذا كان الإدخال متقطعًا). يُثبَّت هذا أثناء التدريب لأنه يُستخدم لتعلم عدد من تضمينات المواقع.
  • activation_fn (str، اختياري، القيمة الافتراضية "geglu") — دالة التنشيط المستخدمة في الشبكة العصبية الأمامية. راجع diffusers.models.activations.get_activation لمعرفة دوال التنشيط المدعومة.
  • norm_elementwise_affine (bool، اختياري) — تكوين ما إذا كان يجب على TransformerBlock استخدام معاملات أفينية قابلة للتعلم لكل عنصر للتطبيع.
  • double_self_attention (bool, اختياري) — تكوين ما إذا كان يجب أن يحتوي كل TransformerBlock على طبقتي انتباه ذاتي.
  • positional_embeddings — (str, اختياري): نوع التضمينات الموضعية التي تُطبَّق على مدخلات التسلسل قبل الاستخدام.
  • num_positional_embeddings — (int، اختياري): الطول الأقصى للتسلسل الذي تُطبَّق عليه التضمينات الموضعية.

نموذج Transformer للبيانات المشابهة للفيديو.

forward

< >

( hidden_states: Tensorencoder_hidden_states: typing.Optional[torch.LongTensor] = Nonetimestep: typing.Optional[torch.LongTensor] = Noneclass_labels: LongTensor = Nonenum_frames: int = 1cross_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → TransformerTemporalModelOutput or tuple

المعاملات

  • hidden_states (torch.LongTensor من الشكل (batch size, num latent pixels) إذا كانت منفصلة، torch.Tensor من الشكل (batch size, channel, height, width) إذا كانت مستمرة) — حالات مخفية مدخلة.
  • encoder_hidden_states ( torch.LongTensor من الشكل (batch size, encoder_hidden_states dim)، اختياري) — تضمينات شرطية لطبقة الانتباه المتقاطع. إذا لم تُقدَّم، فإن الانتباه المتقاطع يتحول افتراضيًا إلى الانتباه الذاتي.
  • timestep ( torch.LongTensor, اختياري) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء. خطوة زمنية اختيارية تُطبَّق كتمثيل مضمّن في AdaLayerNorm.
  • class_labels ( torch.LongTensor من الشكل (batch size, num classes)، اختياري) — يُستخدم للإشارة إلى تسميات الفئات الشرطية. تسميات فئات اختيارية تُطبَّق كتمثيل مضمّن (embedding) في AdaLayerZeroNorm.
  • num_frames (int، اختياري، القيمة الافتراضية 1) — عدد الإطارات التي سيتم معالجتها في كل دفعة. يُستخدم هذا لإعادة تشكيل الحالات المخفية.
  • cross_attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor كما هو معرَّف تحت self.processor في diffusers.models.attention_processor إذا تمَّ تحديده.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع TransformerTemporalModelOutput بدلاً من tuple عادي.

يعيد

TransformerTemporalModelOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد TransformerTemporalModelOutput، وإلا يُعاد tuple يكون عنصره الأول هو متجه العينة.

طريقة TransformerTemporal الأمامية.

TransformerTemporalModelOutput

فئة diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput

< >

( sample: Tensor )

المعاملات

  • sample (torch.Tensor من الشكل (batch_size x num_frames, num_channels, height, width)) — مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states.

مخرجات TransformerTemporalModel.

Update on GitHub

←Transformer2DModel WanAnimate2Transformer3DModel→