Diffusers documentation
AutoencoderKLMiniMaxH3Image
AutoencoderKLMiniMaxH3Image
Mô hình autoencoder biến phân (VAE) cho ảnh với tổn thất KL được sử dụng trong MiniMax-H3-Image của MiniMax. Nó kết hợp bộ mã hóa CNN 3D nhân quả của AutoencoderKLMiniMaxH3, chạy trên một khung hình duy nhất, với bộ giải mã ViT 2D, và nén 16 lần theo không gian. encode và decode nhận và trả về các tensor ảnh 4 chiều.
Nó chia sẻ ba quy ước với AutoencoderKLMiniMaxH3:
- Latents được chuẩn hóa theo từng kênh. Không có
scaling_factor: một pipeline mã hóa bằng(latent - latents_mean) / latents_stdvà giải mã bằnglatent * latents_std + latents_mean. - Quy ước pixel là RGB được chuẩn hóa theo ImageNet trên khoảng cơ sở
[0, 1], không phải[-1, 1]thông thường.encodekỳ vọng(pixel - imagenet_mean) / imagenet_stdvàdecodetrả về các giá trị trong cùng không gian đó, do đó một pipeline sẽ áp dụngsample * imagenet_std + imagenet_meanvà kẹp vào[0, 1]trước khi xử lý hậu kỳ. - Chia ô không gian được bật theo mặc định. MiniMax-H3-Image được phát hành với tính năng chia ô được bật cho cả mã hóa và giải mã, và các hình ảnh được phát hành là các hình ảnh ghép từ các ô đã trộn, do đó việc tắt tính năng này sẽ làm thay đổi đầu ra. Sử dụng
enable_tilingđể thay đổi hình học của các ô vàdisable_tilingđể tắt tính năng này.
import torch
from diffusers import AutoencoderKLMiniMaxH3Image
vae = AutoencoderKLMiniMaxH3Image.from_pretrained(
"MiniMaxAI/MiniMax-H3-Image", subfolder="vae_diffusers", dtype=torch.float32
).to("cuda") # or "mps", "xpu", "cpu"AutoencoderKLMiniMaxH3Image
lớp diffusers.AutoencoderKLMiniMaxH3Image
< source >( in_channels: int = 3out_channels: int = 3latent_channels: int = 24block_out_channels: tuple[int, ...] = (128, 256, 256, 512, 512, 1024)layers_per_block: int = 2spatial_downsample_factors: tuple[int, ...] = (2, 2, 2, 2, 1, 1)temporal_downsample_factors: tuple[int, ...] = (1, 2, 2, 1, 1, 1)norm_num_groups: int = 32norm_eps: float = 1e-06spatial_padding_mode: str = 'reflect'decoder_num_layers: int = 24decoder_num_attention_heads: int = 16decoder_attention_head_dim: int = 64decoder_num_register_tokens: int = 4decoder_ffn_mult: int = 4decoder_rope_theta: float = 100.0decoder_rope_dim_ratio: float = 0.5decoder_norm_eps: float = 1e-05latents_mean: tuple[float, ...] = (0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0)latents_std: tuple[float, ...] = (1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0) )
Một mô hình VAE với bộ mã hóa CNN 3D nhân quả và bộ giải mã ViT 2D phi nhân quả, được sử dụng trong MiniMax-H3-Image. Bộ mã hóa là bộ mã hóa video MiniMax-H3 chạy trên một khung hình duy nhất; bộ giải mã là ViT chỉ dành cho ảnh.
Mô hình này kế thừa từ ModelMixin. Hãy xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các mô hình (chẳng hạn như tải xuống hoặc lưu trữ).
Latents được chuẩn hóa bằng latents_mean / latents_std cho từng kênh thay vì scaling_factor; một pipeline
mã hóa bằng (latent - latents_mean) / latents_std và giải mã bằng latent * latents_std + latents_mean.
Quy ước pixel là RGB được chuẩn hóa theo ImageNet trên khoảng cơ sở [0, 1], không phải [-1, 1] thông thường: encode kỳ vọng (pixel - imagenet_mean) / imagenet_std và decode trả về các giá trị trong cùng không gian đó, do đó một pipeline phải áp dụng sample * imagenet_std + imagenet_mean (mean (0.485, 0.456, 0.406), std (0.229, 0.224, 0.225)) và
chặn (clamp) về [0, 1] trước khi xử lý hậu kỳ.
Khác với hầu hết các autoencoder trong thư viện, spatial tiling được bật theo mặc định: MiniMax-H3-Image được phát hành với tiling được bật cho cả encoding và decoding, và các hình ảnh được phát hành là các hình ảnh blended-tile, do đó việc tắt tiling sẽ làm thay đổi đầu ra. Sử dụng enable_tiling để thay đổi hình học của tile, disable_tiling để tắt tính năng này.
encode
< source >( x: Tensorreturn_dict: bool = True )
Tham số
- x (
torch.Tensor) — Lô đầu vào các hình ảnh, hình dạng(batch_size, in_channels, height, width). - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về một AutoencoderKLOutput thay vì một tuple thông thường hay không.
Mã hóa một lô ảnh thành các biến ẩn.
decode
< source >( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple
Tham số
- z (
torch.Tensor) — Batch đầu vào của các latent, shape(batch_size, latent_channels, height, width). - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.
Trả về
DecoderOutput hoặc tuple
Các hình ảnh đã giải mã, có hình dạng (batch_size, out_channels, height * spatial_compression_ratio, width * spatial_compression_ratio).
Giải mã một lô latents.
enable_tiling
< source >( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_min_overlap_height: int | None = Nonetile_sample_min_overlap_width: int | None = None )
Tham số
- tile_sample_min_height (
int, tùy chọn) — Chiều cao của tile trong không gian pixel. Các khung hình cao hơn giá trị này sẽ được chia dọc theo chiều cao. - tile_sample_min_width (
int, tùy chọn) — Chiều rộng của tile trong không gian pixel. Các khung hình có chiều rộng lớn hơn giá trị này sẽ được chia dọc theo chiều rộng. - tile_sample_min_overlap_height (
int, tùy chọn) — Độ chồng lấp tối thiểu, tính bằng pixel, giữa hai lát cắt dọc liên tiếp. - tile_sample_min_overlap_width (
int, tùy chọn) — Độ chồng lấp tối thiểu, tính bằng pixel, giữa hai lát cắt ngang liên tiếp.
Bật mã hóa/giải mã VAE dạng gạch. Khi tùy chọn này được bật, VAE sẽ chia các khung hình thành các gạch, mã hóa hoặc giải mã từng gạch riêng biệt và trộn tuyến tính các phần chồng lấn lại với nhau. Điều này làm giảm yêu cầu về bộ nhớ và cho phép xử lý các khung hình lớn hơn.
forward
< source >( sample: Tensorsample_posterior: bool = Falsegenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → DecoderOutput or tuple
Tham số
- sample (
torch.Tensor) — Batch đầu vào của các hình ảnh, có hình dạng(batch_size, in_channels, height, width). - sample_posterior (
bool, tùy chọn, mặc định làFalse) — Có lấy mẫu từ phân phối hậu nghiệm thay vì lấy mode của nó hay không. - generator (
torch.Generator, tùy chọn) — Generator được sử dụng khisample_posterior=True. - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.
Trả về
DecoderOutput hoặc tuple
Các hình ảnh sau khi thực hiện quá trình đi và về, có hình dạng (batch_size, out_channels, height, width).
Mã hóa rồi giải mã một lô ảnh.