Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

MiniMaxMusic3Transformer1DModel

Diffusion Transformer flow-matching 2.4B của MiniMax Music 3. Nó khử nhiễu các ẩn âm thanh Flow-VAE 128 kênh, được điều kiện bởi các trạng thái ẩn theo từng khung của giai đoạn mô hình ngôn ngữ tự hồi quy của mô hình, bằng cách thêm trước bước thời gian flow-matching như một token chuỗi bổ sung (một transformer liên tục theo dòng dõi Stable-Audio với chú ý rotary một phần và các lớp feedforward GLU).

MiniMaxMusic3Transformer1DModel

lớp diffusers.MiniMaxMusic3Transformer1DModel

< source >

( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )

Transformer khuếch tán khớp dòng (flow-matching) của MiniMax Music 3. Nó khử nhiễu các ẩn âm thanh Flow-VAE có điều kiện dựa trên các trạng thái ẩn theo từng khung hình được tạo ra bởi giai đoạn mô hình ngôn ngữ tự hồi quy.

Inputs là các chuỗi latent 1D có shape (batch, in_channels, length). Tín hiệu điều kiện (encoder_hidden_states, shape (batch, length, condition_dim)) phải đã được căn chỉnh với timeline của latent — xem MiniMaxMusic3ConditionEncoder. timestep của flow-matching chạy từ 0 (noise) đến 1 (data).

forward

< source >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )

Tham số

hidden_states (torch.Tensor có hình dạng (batch, in_channels, length)) — Các latent của Flow-VAE có nhiễu.
timestep (torch.Tensor có hình dạng (batch,)) — Thời gian flow-matching trong [0, 1], trong đó 0 là nhiễu thuần túy và 1 là dữ liệu.
encoder_hidden_states (torch.Tensor có hình dạng (batch, length, condition_dim)) — Điều kiện căn chỉnh theo khung từ MiniMaxMusic3ConditionEncoder. Truyền các giá trị bằng 0 cho nhánh không điều kiện của classifier-free guidance.
return_dict (bool, mặc định là True) — Có nên trả về một Transformer2DModelOutput thay vì một tuple thông thường hay không.

Update on GitHub

←MiniMaxH3Transformer3DModel MochiTransformer3DModel→