Diffusers documentation

Modelos

Diffusers

Comenzar

Diffusers Instalación Introducción Interfaz de línea de comandos

Inferencia

Uso de pipelines de difusión

Adaptadores y personalización

Optimizar y escalar

Rendimiento básico

Inferencia

Métodos de la comunidad

Cuantización

Aceleración específica del hardware

Servicio y escalado

Diffusers modulares

Entrenar y ajustar

Recursos

Contribuir

API

Clases principales

Modular

Cargadores

Modelos

Resumen AutoModel

ControlNets

Transformers

UNets

VAEs

Pipelines

Planificadores

Clases internas

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Modelos

🤗 Diffusers ofrece modelos preentrenados para algoritmos populares y módulos para crear sistemas de difusión personalizados. La función principal de los modelos es desruidar una muestra de entrada según la distribución $p_{\theta}(x_{t-1}|x_{t})$ .

Todos los modelos se construyen a partir de la clase base ModelMixin, que es un torch.nn.Module que proporciona funcionalidad básica para guardar y cargar modelos, localmente y desde el Hugging Face Hub.

ModelMixin

clase diffusers.ModelMixin

( )

Clase base para todos los modelos.

ModelMixin se encarga de almacenar la configuración del modelo y proporciona métodos para cargar, descargar y guardar modelos.

config_name (str) — Nombre del archivo para guardar un modelo al llamar a save_pretrained().

compile_repeated_blocks

( *args**kwargs )

Compila únicamente los submódulos que se repiten con frecuencia en un modelo (por ejemplo, las capas Transformer) en lugar de compilar el modelo completo. Esta técnica, a menudo denominada compilación regional (consulte la receta de PyTorch https://docs.pytorch.org/tutorials/recipes/regional_compilation.html), puede reducir de manera sustancial el tiempo de compilación de extremo a extremo, al mismo tiempo que conserva las mejoras de velocidad en tiempo de ejecución que se esperarían de una torch.compile completa.

El conjunto de submódulos que se compilan se detecta mediante la presencia del atributo _repeated_blocks en la definición del modelo. Defina este atributo en la subclase de su modelo como una lista/tupla de nombres de clase (cadenas de texto). Se compilará cada módulo cuyo nombre de clase coincida.

Una vez descubiertos, cada submódulo coincidente se compila llamando a submodule.compile(*args, **kwargs). Cualquier argumento posicional o por nombre que proporciones a compile_repeated_blocks se reenvía tal cual a torch.compile.

cuda

( *args**kwargs )

Un valor simulado para una ruta con puntos (p. ej. torch.float32): las cadenas de acceso a atributos y las llamadas se comportan como decoradores de paso, repr es la ruta con puntos, y su uso como clase base sustituye una base de type simple (PEP 560 __mro_entries__), de modo que las subclases reales conservan un metaclass normal y inspect.signature lee su __init__ real en lugar del de un simulado.

dequantize

( )

Des-cuantizar potencialmente el modelo en caso de que haya sido cuantizado mediante un método de cuantización que admita la des-cuantización.

disable_gradient_checkpointing

( )

Desactiva el checkpointing de gradientes para el modelo actual (puede referirse a activation checkpointing o checkpoint activations en otros frameworks).

disable_npu_flash_attention

( )

desactivar npu flash attention desde torch_npu

disable_xformers_memory_efficient_attention

( )

Desactivar la atención eficiente en memoria de xFormers.

disable_xla_flash_attention

( )

Desactivar el kernel pallals de flash attention para torch_xla.

enable_gradient_checkpointing

( gradient_checkpointing_func: typing.Optional[typing.Callable] = None )

Parámetros

gradient_checkpointing_func (Callable, opcional) — La función que se utilizará para el checkpointing de gradientes. Si es None, se utiliza la función de checkpointing predeterminada de PyTorch (torch.utils.checkpoint.checkpoint).

Activa el checkpointing de gradientes para el modelo actual (puede referirse a activation checkpointing o checkpoint activations en otros frameworks).

enable_group_offload

( onload_device: deviceoffload_device: device = torch.device()offload_type: str = 'block_level'num_blocks_per_group: int | None = Nonenon_blocking: bool = Falseuse_stream: bool = Falserecord_stream: bool = Falselow_cpu_mem_usage = Falseoffload_to_disk_path: str | None = Noneblock_modules: str | None = Noneexclude_kwargs: str | None = None )

Activa el descargado de grupos para el modelo actual.

Consulte apply_group_offloading() para obtener más información.

Ejemplo:

>>> from diffusers import CogVideoXTransformer3DModel

>>> transformer = CogVideoXTransformer3DModel.from_pretrained(
...     "THUDM/CogVideoX-5b", subfolder="transformer", torch_dtype=torch.bfloat16
... )

>>> transformer.enable_group_offload(
...     onload_device=torch.device("cuda"),
...     offload_device=torch.device("cpu"),
...     offload_type="leaf_level",
...     use_stream=True,
... )

enable_layerwise_casting

( storage_dtype: dtype = torch.float8_e4m3fncompute_dtype: typing.Optional[torch.dtype] = Noneskip_modules_pattern: tuple[str, ...] | None = Noneskip_modules_classes: tuple[typing.Type[torch.nn.Module], ...] | None = Nonenon_blocking: bool = False )

Parámetros

storage_dtype (torch.dtype) — El dtype al que se debe convertir el modelo para su almacenamiento.
compute_dtype (torch.dtype) — El dtype al que deben convertirse los pesos del modelo durante la pasada hacia adelante.
skip_modules_pattern (tuple[str, ...], opcional) — Una lista de patrones para coincidir con los nombres de los módulos que se deben omitir durante el proceso de conversión por capas. Si se establece en None, se utilizan patrones de omisión predeterminados para ignorar ciertas capas internas de los módulos y las capas de PEFT.
skip_modules_classes (tuple[Type[torch.nn.Module], ...], opcional) — Una lista de clases de módulos que se deben omitir durante el proceso de conversión por capas.
non_blocking (bool, opcional, valor predeterminado False) — Si True, las operaciones de conversión de pesos son no bloqueantes.

Activa el casteo por capa para el modelo actual.

El casteo por capas es una técnica que convierte los pesos del modelo a un dtype de menor precisión para su almacenamiento, pero los convierte al vuelo a un dtype de mayor precisión para el cálculo. Este proceso puede reducir significativamente la huella de memoria de los pesos del modelo, pero puede provocar cierta degradación de la calidad en las salidas. La mayoría de las degradaciones son insignificantes y se deben principalmente al casteo de pesos en las capas de normalización y modulación.

Por defecto, la mayoría de los modelos en diffusers establecen el atributo _skip_layerwise_casting_patterns para ignorar las capas de incrustación de parches, incrustación posicional y normalización. Esto se debe a que estas capas son probablemente críticas en precisión para la calidad. Si deseas cambiar este comportamiento, puedes establecer el atributo _skip_layerwise_casting_patterns en None, o llamar a apply_layerwise_casting() con argumentos personalizados.

Ejemplo:

Usando enable_layerwise_casting():

>>> from diffusers import CogVideoXTransformer3DModel

>>> transformer = CogVideoXTransformer3DModel.from_pretrained(
...     "THUDM/CogVideoX-5b", subfolder="transformer", torch_dtype=torch.bfloat16
... )

>>> # Enable layerwise casting via the model, which ignores certain modules by default
>>> transformer.enable_layerwise_casting(storage_dtype=torch.float8_e4m3fn, compute_dtype=torch.bfloat16)

enable_npu_flash_attention

( )

Activar npu flash attention desde torch_npu

enable_xformers_memory_efficient_attention

( attention_op: typing.Optional[typing.Callable] = None )

Parámetros

attention_op (Callable, opcional) — Sustituye el operador predeterminado None para usarlo como argumento op de la función memory_efficient_attention() de xFormers.

Habilitar la atención eficiente en memoria desde xFormers.

Cuando esta opción está habilitada, debería observar un menor uso de memoria de GPU y una posible aceleración durante la inferencia. No se garantiza una aceleración durante el entrenamiento.

> ⚠️ Cuando la atención eficiente en memoria y la atención segmentada están ambas habilitadas, la atención eficiente en memoria tiene > precedencia.

Ejemplos:

>>> import torch
>>> from diffusers import UNet2DConditionModel
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> model = UNet2DConditionModel.from_pretrained(
...     "stabilityai/stable-diffusion-2-1", subfolder="unet", torch_dtype=torch.float16
... )
>>> model = model.to("cuda")
>>> model.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)

enable_xla_flash_attention

( partition_spec: typing.Optional[typing.Callable] = None**kwargs )

Habilitar el kernel pallals de flash attention para torch_xla.

from_pretrained

( pretrained_model_name_or_path: str | os.PathLike | None**kwargs )

Parámetros

pretrained_model_name_or_path (str o os.PathLike, opcional) — Puede ser:
- Una cadena de texto, el model id (por ejemplo, google/ddpm-celebahq-256) de un modelo preentrenado alojado en el Hub.
- Una ruta a un directorio (por ejemplo, ./my_model_directory) que contiene los pesos del modelo guardados con save_pretrained().
cache_dir (str | os.PathLike, opcional) — Ruta a un directorio donde se almacena en caché la configuración de un modelo preentrenado descargado si no se utiliza la caché estándar.
dtype (torch.dtype, opcional) — Sobrescribe el torch.dtype predeterminado y carga el modelo con otro dtype.
force_download (bool, opcional, valor predeterminado False) — Indica si se debe forzar la (re)descarga de los pesos del modelo y los archivos de configuración, ignorando las versiones en caché si existen.
proxies (dict[str, str], opcional) — Un diccionario de servidores proxy a utilizar por protocolo o punto de acceso, por ejemplo, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Los proxies se utilizan en cada solicitud.
output_loading_info (bool, opcional, valor predeterminado False) — Indica si se debe devolver también un diccionario que contenga las claves faltantes, las claves inesperadas y los mensajes de error.
local_files_only(bool, opcional, valor predeterminado False) — Indica si se deben cargar únicamente los pesos y archivos de configuración del modelo locales. Si se establece en True, el modelo no se descargará desde el Hub.
token (str o bool, opcional) — El token que se usará como autorización HTTP bearer para los archivos remotos. Si True, se utiliza el token generado desde diffusers-cli login (almacenado en ~/.huggingface).
revision (str, opcional, valor predeterminado "main") — La versión específica del modelo que se va a utilizar. Puede ser el nombre de una rama, el nombre de una etiqueta, un id de commit o cualquier identificador permitido por Git.
subfolder (str, opcional, por defecto "") — La ubicación de la subcarpeta de un archivo de modelo dentro de un repositorio de modelos más grande en el Hub o localmente.
mirror (str, opcional) — Origen de espejo para resolver problemas de accesibilidad si estás descargando un modelo en China. No garantizamos la oportunidad ni la seguridad de la fuente, y debes consultar el sitio del espejo para obtener más información.
device_map (int | str | torch.device o dict[str, int | str | torch.device], opcional) — Un mapa que especifica dónde debe ir cada submódulo. No es necesario definirlo para cada nombre de parámetro/buffer; una vez que un nombre de módulo está incluido, todos sus submódulos se enviarán al mismo dispositivo. El valor predeterminado es None, lo que significa que el modelo se cargará en la CPU.
Ejemplos:

Instanciar un modelo de PyTorch preentrenado a partir de una configuración de modelo preentrenado.

El modelo se configura en modo de evaluación - model.eval() - de forma predeterminada, y los módulos de dropout se desactivan. Para entrenar el modelo, devuélvalo al modo de entrenamiento con model.train().

> Para usar modelos privados o con acceso restringido, inicie sesión con hf > auth login. También puede activar el modo especial > “offline-mode” para usar este método en un > entorno con cortafuegos.

Ejemplo:

from diffusers import UNet2DConditionModel

unet = UNet2DConditionModel.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5", subfolder="unet")

Si obtienes el siguiente mensaje de error, necesitas ajustar los pesos para tu tarea de destino:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

get_memory_footprint

( return_buffers = True )

Parámetros

return_buffers (bool, opcional, valor predeterminado True) — Si se debe incluir el tamaño de los tensores de buffer en el cálculo de la huella de memoria. Los buffers son tensores que no requieren gradientes y no están registrados como parámetros. Por ejemplo, la media y la desviación estándar en las capas de normalización por lote. Consulte: https://discuss.pytorch.org/t/what-pytorch-means-by-buffers/120266/2

Obtén la huella de memoria de un modelo. Esto devolverá la huella de memoria del modelo actual en bytes. Útil para medir la huella de memoria del modelo actual y diseñar algunas pruebas. Solución inspirada en las discusiones de PyTorch: https://discuss.pytorch.org/t/gpu-memory-that-model-uses/56822/2

num_parameters

( only_trainable: bool = Falseexclude_embeddings: bool = False ) → int

Parámetros

only_trainable (bool, opcional, valor predeterminado False) — Indica si se debe devolver únicamente el número de parámetros entrenables.
exclude_embeddings (bool, opcional, valor predeterminado False) — Indica si se debe devolver solo el número de parámetros que no son de incrustación.

Devuelve

int

El número de parámetros.

Obtener el número de parámetros (entrenables o no de incrustación) en el módulo.

Ejemplo:

from diffusers import UNet2DConditionModel

model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
unet = UNet2DConditionModel.from_pretrained(model_id, subfolder="unet")
unet.num_parameters(only_trainable=True)
859520964

reset_attention_backend

( )

Restablece el backend de atención para el modelo. Las llamadas posteriores a forward usarán el valor predeterminado del entorno, si está configurado, o la atención de producto escalar de puntos nativa de torch.

save_pretrained

( save_directory: str | os.PathLikeis_main_process: bool = Truesave_function: typing.Optional[typing.Callable] = Nonesafe_serialization: bool = Truevariant: str | None = Nonemax_shard_size: int | str = '10GB'push_to_hub: bool = Falseuse_flashpack: bool = False**kwargs )

Parámetros

save_directory (str o os.PathLike) — Directorio donde se guardará el modelo y su archivo de configuración. Se creará si no existe.
is_main_process (bool, opcional, valor predeterminado True) — Indica si el proceso que realiza esta llamada es el proceso principal o no. Útil durante el entrenamiento distribuido cuando es necesario llamar a esta función en todos los procesos. En este caso, establezca is_main_process=True solo en el proceso principal para evitar condiciones de carrera.
save_function (Callable) — La función que se utilizará para guardar el diccionario de estado. Útil durante el entrenamiento distribuido cuando se necesita reemplazar torch.save con otro método. Puede configurarse con la variable de entorno DIFFUSERS_SAVE_MODE.
safe_serialization (bool, opcional, valor predeterminado True) — Si se guarda el modelo usando safetensors o de la forma tradicional de PyTorch con pickle.
variant (str, opcional) — Si se especifica, los pesos se guardan en el formato pytorch_model.<variant>.bin.
max_shard_size (int o str, por defecto "10GB") — El tamaño máximo de un checkpoint antes de ser fragmentado. Los fragmentos del checkpoint tendrán cada uno un tamaño inferior a este valor. Si se expresa como una cadena de caracteres, debe consistir en dígitos seguidos de una unidad (como "5GB"). Si se expresa como un entero, la unidad es bytes. Tenga en cuenta que este límite se reducirá después de un cierto período de tiempo (a partir de octubre de 2024) para permitir a los usuarios actualizar a la última versión de diffusers. Esto se hace para establecer un tamaño predeterminado común para este argumento en diferentes bibliotecas del ecosistema de Hugging Face (transformers y accelerate, por ejemplo).
push_to_hub (bool, opcional, valor predeterminado False) — Indica si se debe subir el modelo al Hugging Face Hub después de guardarlo. Puedes especificar el repositorio al que deseas subirlo con repo_id (por defecto, se usará el nombre de save_directory en tu espacio de nombres).
kwargs (dict[str, Any], opcional) — Argumentos de palabra clave adicionales que se pasan al método push_to_hub().

Guarde un modelo y su archivo de configuración en un directorio para que pueda recargarse mediante el método de clase from_pretrained().

set_attention_backend

( backend: str )

Parámetros

backend (str) — El nombre del backend a configurar. Debe ser uno de los backends disponibles definidos en AttentionBackendName. Los backends disponibles se encuentran en diffusers.attention_dispatch.AttentionBackendName. El valor predeterminado es la atención de producto escalar de puntos nativa de torch como backend.

Establece el backend de atención para el modelo.

set_use_npu_flash_attention

( valid: bool )

Establezca el interruptor para la atención flash de npu.

hasta

( *args**kwargs )

Un valor simulado para una ruta con puntos (p. ej. torch.float32): las cadenas de acceso a atributos y las llamadas se comportan como decoradores de paso, repr es la ruta con puntos, y su uso como clase base sustituye una base de type simple (PEP 560 __mro_entries__), de modo que las subclases reales conservan un metaclass normal y inspect.signature lee su __init__ real en lugar del de un simulado.

PushToHubMixin

clase diffusers.utils.PushToHubMixin

( )

Un Mixin para subir un modelo, un programador o un pipeline al Hugging Face Hub.

push_to_hub

( repo_id: strcommit_message: str | None = Noneprivate: bool | None = Nonetoken: str | None = Nonecreate_pr: bool = Falsesafe_serialization: bool = Truevariant: str | None = Nonesubfolder: str | None = None )

Parámetros

repo_id (str) — El nombre del repositorio al que deseas subir tus archivos de modelo, programador o pipeline. Debe contener el nombre de tu organización cuando subas a una organización. repo_id también puede ser una ruta a un directorio local.
commit_message (str, opcional) — Mensaje para el commit al hacer push. Por defecto, "Upload {object}".
private (bool, opcional) — Si se debe hacer el repositorio privado. Si es None (predeterminado), el repositorio será público a menos que el valor predeterminado de la organización sea privado. Este valor se ignora si el repositorio ya existe.
token (str, opcional) — El token que se usará como autorización HTTP bearer para archivos remotos. El token generado al ejecutar hf auth login (guardado en ~/.huggingface).
create_pr (bool, opcional, valor predeterminado False) — Si se debe crear una PR con los archivos subidos o realizar el commit directamente.
safe_serialization (bool, opcional, valor predeterminado True) — Indica si se deben convertir los pesos del modelo al formato safetensors.
variant (str, opcional) — Si se especifica, los pesos se guardan en el formato pytorch_model.<variant>.bin.

Sube archivos de modelo, programador o pipeline al 🤗 Hugging Face Hub.

Ejemplos:

from diffusers import UNet2DConditionModel

unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-2", subfolder="unet")

# Push the `unet` to your namespace with the name "my-finetuned-unet".
unet.push_to_hub("my-finetuned-unet")

# Push the `unet` to an organization with the name "my-finetuned-unet".
unet.push_to_hub("your-org/my-finetuned-unet")

Update on GitHub

←PEFT AutoModel→