Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Một mô hình Transformer cho dữ liệu dạng ảnh từ Z-Image.

ZImageTransformer2DModel

lớp diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: listtcap_feats: listreturn_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

Tham số

  • x (list của torch.Tensor hoặc list lồng nhau của torch.Tensor) — Latent đầu vào. Là một danh sách phẳng khi chạy ở chế độ chuẩn, hoặc một danh sách lồng nhau khi chạy ở chế độ omni.
  • t (torch.Tensor) — Dùng để chỉ bước khử nhiễu.
  • cap_feats (list của torch.Tensor hoặc list lồng nhau của torch.Tensor) — Các embedding chú thích có điều kiện (các embedding được tính toán từ các điều kiện đầu vào như prompt) cần sử dụng.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.
  • controlnet_block_samples (dict của int đến torch.Tensor, tùy chọn) — Một ánh xạ từ chỉ số khối đến tensor, nếu được chỉ định sẽ được cộng vào phần dư của các khối transformer.
  • siglip_feats (list của list của torch.Tensor, tùy chọn) — Các đặc trưng hình ảnh SigLIP tùy chọn được sử dụng như điều kiện bổ sung.
  • image_noise_mask (list của list của int, tùy chọn) — Mặt nạ nhiễu cho từng hình ảnh, chỉ ra các token nhiễu so với token sạch trong chế độ omni.
  • patch_size (int, tùy chọn, mặc định là 2) — Kích thước patch không gian được sử dụng để patchify các latents đầu vào.
  • f_patch_size (int, tùy chọn, mặc định là 1) — Kích thước patch theo thời gian được sử dụng để patchify các latents đầu vào.
  • joint_attention_kwargs (dict, tùy chọn) — Một từ điển kwargs. Chỉ mục scale được sử dụng, để điều chỉnh tỷ lệ các lớp LoRA.

Phương thức forward của ZImageTransformer2DModel.

Flow: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: listall_cap_feats: listpatch_size: intf_patch_size: int )

Patchify cho chế độ cơ bản: một hình ảnh cho mỗi mục trong lô.

patchify_and_embed_omni

< >

( all_x: listall_cap_feats: listall_siglip_feats: listpatch_size: intf_patch_size: intimages_noise_mask: list )

Patchify cho chế độ omni: nhiều hình ảnh cho mỗi mục trong batch với các mặt nạ nhiễu.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→