Hugging Face's logo

Diffusers documentation

Lumina2Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Lumina2Transformer2DModel

Model Diffusion Transformer untuk data video 3D diperkenalkan dalam Lumina Image 2.0 oleh Alpha-VLLM.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import Lumina2Transformer2DModel

transformer = Lumina2Transformer2DModel.from_pretrained("Alpha-VLLM/Lumina-Image-2.0", subfolder="transformer", dtype=torch.bfloat16)

Lumina2Transformer2DModel

kelas diffusers.Lumina2Transformer2DModel

< >

( sample_size: int = 128patch_size: int = 2in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 2304num_layers: int = 26num_refiner_layers: int = 2num_attention_heads: int = 24num_kv_heads: int = 8multiple_of: int = 256ffn_dim_multiplier: float | None = Nonenorm_eps: float = 1e-05scaling_factor: float = 1.0axes_dim_rope: tuple = (32, 32, 32)axes_lens: tuple = (300, 512, 512)cap_feat_dim: int = 1024 )

Parameter

  • sample_size (int) — Lebar dari gambar laten. Ini tetap selama pelatihan karena digunakan untuk mempelajari sejumlah position embeddings.
  • patch_size (int, opsional, (int, opsional, defaultnya 2) — Ukuran setiap patch dalam gambar. Parameter ini mendefinisikan resolusi patch yang dimasukkan ke dalam model.
  • in_channels (int, opsional, default 4) — Jumlah channel input untuk model. Biasanya, ini sesuai dengan jumlah channel pada gambar input.
  • hidden_size (int, opsional, default 4096) — Dimensi dari lapisan tersembunyi dalam model. Parameter ini menentukan lebar representasi tersembunyi model.
  • num_layers (int, opsional, default 32) — Jumlah lapisan dalam model. Ini mendefinisikan kedalaman jaringan saraf.
  • num_attention_heads (int, opsional, default 32) — Jumlah attention heads di setiap lapisan attention. Parameter ini menentukan berapa banyak mekanisme attention terpisah yang digunakan.
  • num_kv_heads (int, opsional, default 8) — Jumlah kepala key-value dalam mekanisme perhatian, jika berbeda dari jumlah kepala perhatian. Jika None, defaultnya adalah num_attention_heads.
  • multiple_of (int, opsional, default 256) — Faktor yang ukuran tersembunyi harus menjadi kelipatannya. Hal ini dapat membantu mengoptimalkan konfigurasi perangkat keras tertentu.
  • ffn_dim_multiplier (float, opsional) — Pengali untuk dimensi jaringan feed-forward. Jika None, ia menggunakan nilai default berdasarkan konfigurasi model.
  • norm_eps (float, opsional, default 1e-5) — Nilai kecil yang ditambahkan ke penyebut untuk stabilitas numerik pada lapisan normalisasi.
  • scaling_factor (float, opsional, default 1.0) — Faktor penskalaan yang diterapkan pada parameter atau lapisan tertentu dalam model. Hal ini dapat digunakan untuk menyesuaikan skala keseluruhan operasi model.

Lumina2NextDiT: Model difusi dengan tulang punggung Transformer.

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, in_channels, height, width)) — hidden_states masukan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • encoder_attention_mask (torch.Tensor) — Mask yang diterapkan pada encoder_hidden_states selama attention.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari Lumina2Transformer2DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←LTXVideoTransformer3DModel LuminaNextDiT2DModel→