Diffusers documentation
CogVideoXDDIMScheduler
CogVideoXDDIMScheduler
CogVideoXDDIMScheduler se basa en Denoising Diffusion Implicit Models, específicamente para los modelos de CogVideoX.
CogVideoXDDIMScheduler
clase diffusers.CogVideoXDDIMScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.00085beta_end: float = 0.012beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'scaled_linear'trained_betas: numpy.ndarray | list[float] | None = Noneclip_sample: bool = Trueset_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'clip_sample_range: float = 1.0sample_max_value: float = 1.0timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'leading'rescale_betas_zero_snr: bool = Falsesnr_shift_scale: float = 3.0 )
Parámetros
- num_train_timesteps (
int, por defecto 1000) — El número de pasos de difusión para entrenar el modelo. - beta_start (
float, por defecto 0.00085) — El valor inicial debetapara la inferencia. - beta_end (
float, valor predeterminado 0.0120) — El valor final debeta. - beta_schedule (
str, por defecto"scaled_linear") — La programación de beta, un mapeo desde un rango de beta hasta una secuencia de betas para dar pasos al modelo. Elija entrelinear,scaled_linearosquaredcos_cap_v2. - trained_betas (
np.ndarray, opcional) — Pase un array de betas directamente al constructor para omitirbeta_startybeta_end. - clip_sample (
bool, por defectoTrue) — Recorta la muestra predicha para la estabilidad numérica. - clip_sample_range (
float, por defecto 1.0) — La magnitud máxima para el recorte de muestras. Solo es válido cuandoclip_sample=True. - set_alpha_to_one (
bool, por defectoTrue) — Cada paso de difusión utiliza el valor del producto de alfas en ese paso y en el anterior. En el paso final no hay un alfa anterior. Cuando esta opción esTrue, el producto del alfa anterior se fija en1; de lo contrario, se utiliza el valor de alfa del paso 0. - steps_offset (
int, valor predeterminado 0) — Un desplazamiento que se suma a los pasos de inferencia, tal como lo requieren algunas familias de modelos. - prediction_type (
str, defaults toepsilon, optional) — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, por defectoFalse) — Si se debe utilizar el método de “umbral dinámico”. No es adecuado para modelos de difusión en el espacio latente, como Stable Diffusion. - dynamic_thresholding_ratio (
float, valor predeterminado 0.995) — La proporción para el método de umbral dinámico. Solo es válido cuandothresholding=True. - sample_max_value (
float, valor predeterminado 1.0) — El valor de umbral para el umbral dinámico. Solo es válido cuandothresholding=True. - timestep_spacing (
str, por defecto"leading") — La forma en que se deben escalar los pasos de tiempo. Consulte la tabla 2 de Common Diffusion Noise Schedules and Sample Steps are Flawed para obtener más información. - rescale_betas_zero_snr (
bool, por defectoFalse) — Si se deben reescalar los betas para tener un SNR terminal cero. Esto permite al modelo generar muestras muy brillantes y oscuras en lugar de limitarse a muestras con un brillo medio. Relacionado de forma laxa con--offset_noise. - snr_shift_scale (
float, por defecto 3.0) — Escala de desplazamiento para SNR.
DDIMScheduler extiende el procedimiento de desruido introducido en los modelos probabilísticos de difusión de desruido (DDPM) con una guía no markoviana.
Este modelo hereda de SchedulerMixin y ConfigMixin. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Parámetros
- original_samples (
torch.Tensor) — Las muestras originales a las que se les añadirá ruido. - noise (
torch.Tensor) — El ruido que se añadirá a las muestras. - timesteps (
torch.IntTensor) — Los pasos de tiempo que indican el nivel de ruido para cada muestra.
Devuelve
torch.Tensor
Las muestras ruidosas.
Añada ruido a las muestras originales según la magnitud del ruido en cada paso temporal (este es el proceso de difusión hacia adelante).
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Calcule la predicción de velocidad a partir de la muestra y el ruido según la fórmula de velocidad.
scale_model_input
< source >( sample: Tensortimestep: int = None ) → torch.Tensor
Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual.
set_timesteps
< source >( num_inference_steps: intdevice: typing.Union[str, torch.device, NoneType] = None )
Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).
paso
< source >( model_output: Tensortimestep: intsample: Tensoreta: float = 0.0use_clipped_model_output: bool = Falsegenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → DDIMSchedulerOutput or tuple
Parámetros
- model_output (
torch.Tensor) — La salida directa del modelo de difusión aprendido. - timestep (
int) — El paso de tiempo discreto actual en la cadena de difusión. - sample (
torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión. - eta (
float) — El peso del ruido para el ruido añadido en el paso de difusión. - use_clipped_model_output (
bool, por defectoFalse) — Si esTrue, calcula unmodel_output“corregido” a partir de la muestra original predicha recortada. Es necesario porque la muestra original predicha se recorta a [-1, 1] cuandoself.config.clip_sampleesTrue. Si no se ha realizado ningún recorte, elmodel_output“corregido” coincidiría con el proporcionado como entrada yuse_clipped_model_outputno tendría efecto. - generator (
torch.Generator, opcional) — Un generador de números aleatorios. - variance_noise (
torch.Tensor) — Alternativa a generar ruido congeneratorproporcionando directamente el ruido para la varianza misma. Útil para métodos comoCycleDiffusion. - return_dict (
bool, opcional, valor predeterminadoTrue) — Indica si se debe devolver un DDIMSchedulerOutput o unatuple.
Devuelve
DDIMSchedulerOutput o tuple
If return_dict is True, DDIMSchedulerOutput is returned, otherwise a
tuple is returned where the first element is the sample tensor.
Predice la muestra del paso de tiempo anterior invirtiendo el SDE. Esta función propaga el proceso de difusión a partir de las salidas del modelo aprendido (con mayor frecuencia, el ruido predicho).