Hugging Face's logo

Diffusers documentation

AutoencoderOobleck

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderOobleck

Модель вариационного автоэнкодера (VAE) Oobleck с потерей KL была представлена в Stability-AI/stable-audio-tools и Stable Audio Open от Stability AI. Эта модель используется в 🤗 Diffusers для кодирования аудиосигналов в латентные представления и декодирования латентных представлений в аудиосигналы.

Аннотация из статьи:

Open generative models are vitally important for the community, allowing for fine-tunes and serving as baselines when presenting new models. However, most current text-to-audio models are private and not accessible for artists and researchers to build upon. Here we describe the architecture and training process of a new open-weights text-to-audio model trained with Creative Commons data. Our evaluation shows that the model’s performance is competitive with the state-of-the-art across various metrics. Notably, the reported FDopenl3 results (measuring the realism of the generations) showcase its potential for high-quality stereo sound synthesis at 44.1kHz.

AutoencoderOobleck

класс diffusers.AutoencoderOobleck

< >

( encoder_hidden_size = 128downsampling_ratios = [2, 4, 4, 8, 8]channel_multiples = [1, 2, 4, 8, 16]decoder_channels = 128decoder_input_channels = 64audio_channels = 2sampling_rate = 44100 )

Параметры

  • encoder_hidden_size (int, необязательный, по умолчанию 128) — Размер промежуточного представления для энкодера.
  • downsampling_ratios (list[int], необязательный, по умолчанию [2, 4, 4, 8, 8]) — Коэффициенты уменьшения разрешения в кодере. В декодере они используются в обратном порядке для увеличения разрешения.
  • channel_multiples (list[int], необязательный, по умолчанию [1, 2, 4, 8, 16]) — Множители, используемые для определения размеров скрытых слоёв.
  • decoder_channels (int, необязательный, по умолчанию 128) — Размерность промежуточного представления для декодера.
  • decoder_input_channels (int, необязательный, по умолчанию 64) — Входное измерение декодера. Соответствует латентному измерению.
  • audio_channels (int, необязательный, по умолчанию 2) — Количество каналов в аудиоданных. 1 для моно или 2 для стерео.
  • sampling_rate (int, необязательный, по умолчанию 44100) — Частота дискретизации, с которой звуковая волна должна быть оцифрована, выраженная в герцах (Гц).

Автоэнкодер для кодирования волновых форм в латентные представления и декодирования латентных представлений в волновые формы. Впервые представлен в Stable Audio.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

decode

< >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.OobleckDecoderOutput or tuple

Параметры

  • z (torch.Tensor) — Входная партия латентных векторов.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.vae.OobleckDecoderOutput вместо обычного кортежа.

Возвращает

~models.vae.OobleckDecoderOutput или tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

Декодировать пакет изображений.

encode

< >

( x: Tensorreturn_dict: bool = True )

Параметры

  • x (torch.Tensor) — Входная партия изображений.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.autoencoder_kl.AutoencoderKLOutput вместо обычного кортежа.

Кодирует пакет изображений в латенты.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.OobleckDecoderOutput or tuple

Параметры

  • sample (torch.Tensor) — Входной образец.
  • sample_posterior (bool, необязательный, по умолчанию False) — Следует ли извлекать выборку из апостериорного распределения.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать OobleckDecoderOutput вместо обычного кортежа.
  • generator (torch.Generator, необязательный) — torch.Generator для обеспечения детерминированности выборки.

Возвращает

~models.vae.OobleckDecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.OobleckDecoderOutput, в противном случае возвращается обычный tuple.

OobleckDecoderOutput

класс diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput

< >

( sample: Tensor )

Параметры

  • sample (torch.Tensor формы (batch_size, audio_channels, sequence_length)) — Декодированный выходной образец из последнего слоя модели.

Результат метода декодирования.

AutoencoderOobleckOutput

класс diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput

< >

( latent_dist: OobleckDiagonalGaussianDistribution )

Параметры

  • latent_dist (OobleckDiagonalGaussianDistribution) — Закодированные выходные данные Encoder, представленные в виде среднего значения и стандартного отклонения OobleckDiagonalGaussianDistribution. OobleckDiagonalGaussianDistribution позволяет извлекать латентные переменные из распределения.

Результат метода кодирования AutoencoderOobleck.

Update on GitHub

←LTX2VideoDiffusionDecoderModel Tiny AutoEncoder→