Hugging Face's logo

Diffusers documentation

CogView4Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CogView4Transformer2DModel

Model Diffusion Transformer untuk data 2D dari CogView4

Model dapat dimuat dengan potongan kode berikut.

from diffusers import CogView4Transformer2DModel

transformer = CogView4Transformer2DModel.from_pretrained("THUDM/CogView4-6B", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

CogView4Transformer2DModel

kelas diffusers.CogView4Transformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 4096time_embed_dim: int = 512condition_dim: int = 256pos_embed_max_size: int = 128sample_size: int = 128rope_axes_dim: tuple = (256, 256) )

Parameter

  • patch_size (int, defaultnya 2) — Ukuran patch yang akan digunakan di lapisan patch embedding.
  • in_channels (int, defaultnya 16) — Jumlah channel pada input.
  • num_layers (int, defaultnya 30) — Jumlah lapisan blok Transformer yang akan digunakan.
  • attention_head_dim (int, defaultnya 40) — Jumlah saluran di setiap head.
  • num_attention_heads (int, defaultnya 64) — Jumlah head yang digunakan untuk multi-head attention.
  • out_channels (int, defaultnya 16) — Jumlah channel pada output.
  • text_embed_dim (int, defaultnya 4096) — Dimensi input dari text embeddings yang berasal dari text encoder.
  • time_embed_dim (int, defaultnya 512) — Dimensi output dari embedding timestep.
  • condition_dim (int, defaultnya 256) — Dimensi embedding dari kondisi resolusi gaya SDXL pada input (original_size, target_size, crop_coords).
  • pos_embed_max_size (int, defaultnya 128) — Resolusi maksimum dari positional embeddings, yang diambil potongannya dengan bentuk H x W dan ditambahkan ke latents patched input, di mana H dan W masing-masing adalah tinggi dan lebar latents. Nilai 128 berarti bahwa tinggi dan lebar maksimum yang didukung untuk generasi gambar adalah 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048.
  • sample_size (int, defaultnya 128) — Resolusi dasar dari latens input. Jika tinggi/lebar tidak diberikan saat generasi, nilai ini digunakan untuk menentukan resolusi sebagai sample_size * vae_scale_factor => 128 * 8 => 1024

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensororiginal_size: Tensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, in_channels, height, width)) — hidden_states masukan.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • original_size (torch.Tensor) — Kondisi ukuran gambar asli.
  • target_size (torch.Tensor) — Kondisi ukuran gambar target.
  • crop_coords (torch.Tensor) — Koordinat crop untuk kondisioning.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.
  • attention_mask (torch.Tensor, opsional) — Mask yang diterapkan pada skor perhatian.
  • image_rotary_emb (tuple dari torch.Tensor, opsional) — Embedding posisi rotasi yang telah dihitung sebelumnya.

Metode forward dari CogView4Transformer2DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←CogView3PlusTransformer2DModel ConsisIDTransformer3DModel→