Hugging Face's logo

Diffusers documentation

SkyReelsV2Transformer3DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SkyReelsV2Transformer3DModel

Model Diffusion Transformer untuk data video 3D diperkenalkan dalam SkyReels-V2 oleh Skywork AI.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import SkyReelsV2Transformer3DModel

transformer = SkyReelsV2Transformer3DModel.from_pretrained("Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

SkyReelsV2Transformer3DModel

kelas diffusers.SkyReelsV2Transformer3DModel

< >

( patch_size: tuple[int] = (1, 2, 2)num_attention_heads: int = 16attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 8192num_layers: int = 32cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06image_dim: int | None = Noneadded_kv_proj_dim: int | None = Nonerope_max_seq_len: int = 1024pos_embed_seq_len: int | None = Noneinject_sample_info: bool = Falsenum_frame_per_block: int = 1 )

Parameter

  • patch_size (tuple[int], defaultnya (1, 2, 2)) — Dimensi patch 3D untuk embedding video (t_patch, h_patch, w_patch).
  • num_attention_heads (int, defaultnya 16) — Panjang tetap untuk embedding teks.
  • attention_head_dim (int, defaultnya 128) — Jumlah saluran di setiap head.
  • in_channels (int, defaultnya 16) — Jumlah channel pada input.
  • out_channels (int, defaultnya 16) — Jumlah channel pada output.
  • text_dim (int, defaultnya 4096) — Dimensi input untuk embedding teks.
  • freq_dim (int, defaultnya 256) — Dimensi untuk embedding waktu sinusoidal.
  • ffn_dim (int, defaultnya 8192) — Dimensi perantara dalam jaringan feed-forward.
  • num_layers (int, defaultnya 32) — Jumlah lapisan blok transformer yang akan digunakan.
  • window_size (tuple[int], defaultnya (-1, -1)) — Ukuran jendela untuk perhatian lokal (-1 menunjukkan perhatian global).
  • cross_attn_norm (bool, defaultnya True) — Aktifkan normalisasi cross-attention.
  • qk_norm (str, opsional, default "rms_norm_across_heads") — Aktifkan normalisasi query/key.
  • eps (float, defaultnya 1e-6) — Nilai epsilon untuk lapisan normalisasi.
  • inject_sample_info (bool, defaultnya False) — Apakah akan menyuntikkan informasi sampel ke dalam model.
  • image_dim (int, opsional) — Dimensi dari embedding gambar.
  • added_kv_proj_dim (int, opsional) — Dimensi dari proyeksi key/value yang ditambahkan.
  • rope_max_seq_len (int, defaultnya 1024) — Panjang maksimum sekuens untuk rotary embeddings.
  • pos_embed_seq_len (int, opsional) — Panjang sekuens untuk positional embeddings.

Model Transformer untuk data mirip video yang digunakan dalam model SkyReels-V2 berbasis Wan.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_hidden_states_image: typing.Optional[torch.Tensor] = Noneenable_diffusion_forcing: bool = Falsefps: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, num_channels, num_frames, height, width)) — hidden_states masukan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • encoder_hidden_states_image (torch.Tensor, opsional) — Embedding gambar kondisional untuk generasi yang dikondisikan oleh gambar.
  • enable_diffusion_forcing (bool, opsional, default False) — Apakah akan mengaktifkan diffusion forcing (masking kausal per blok).
  • fps (torch.Tensor, opsional) — Embedding kondisional FPS.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.

Metode forward dari SkyReelsV2Transformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←SD3Transformer2DModel StableAudio3DiTModel→