Diffusers documentation
DPMSolverMultistepInverse
DPMSolverMultistepInverse
DPMSolverMultistepInverse é o agendador invertido de DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps e DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models, de Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li e Jun Zhu.
A implementação é baseada principalmente na definição de inversão DDIM de Null-text Inversion for Editing Real Images using Guided Diffusion Models e na implementação em notebook da inversão latente DiffEdit de Xiang-cd/DiffEdit-stable-diffusion.
Dicas
O thresholding dinâmico do Imagen é suportado e, para modelos de difusão no espaço de pixels, você pode definir tanto algorithm_type="dpmsolver++" quanto thresholding=True para usar o thresholding dinâmico. Esse método de thresholding não é adequado para modelos de difusão no espaço latente, como o Stable Diffusion.
DPMSolverMultistepInverseScheduler
classe diffusers.DPMSolverMultistepInverseScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0 )
Parâmetros
- num_train_timesteps (
int, padrão 1000) — O número de etapas de difusão para treinar o modelo. - beta_start (
float, padrão 0.0001) — O valor inicial debetapara a inferência. - beta_end (
float, padrão 0.02) — O valor final debeta. - beta_schedule (
str, padrão"linear") — O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para o passo do modelo. Escolha entrelinear,scaled_linearousquaredcos_cap_v2. - trained_betas (
np.ndarray, opcional) — Passe um array de betas diretamente para o construtor para ignorarbeta_startebeta_end. - solver_order (
int, padrão 2) — A ordem do DPMSolver, que pode ser1ou2ou3. Recomenda-se usarsolver_order=2para amostragem guiada esolver_order=3para amostragem incondicional. - prediction_type (
str, defaults toepsilon, optional) — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, padrãoFalse) — Se deve usar o método de “limiar dinâmico”. Isso não é adequado para modelos de difusão em espaço latente, como o Stable Diffusion. - dynamic_thresholding_ratio (
float, padrão 0.995) — A proporção para o método de limiar dinâmico. Válido apenas quandothresholding=True. - sample_max_value (
float, padrão 1.0) — O valor de limiar para o thresholding dinâmico. Válido apenas quandothresholding=Trueealgorithm_type="dpmsolver++". - algorithm_type (
str, padrãodpmsolver++) — Tipo de algoritmo para o solver; pode serdpmsolver,dpmsolver++,sde-dpmsolverousde-dpmsolver++. O tipodpmsolverimplementa os algoritmos do artigo DPMSolver e o tipodpmsolver++implementa os algoritmos do artigo DPMSolver++. Recomenda-se o uso dedpmsolver++ousde-dpmsolver++comsolver_order=2para amostragem guiada, como no Stable Diffusion. - solver_type (
str, padrãomidpoint) — Tipo de solver para o solver de segunda ordem; pode sermidpointouheun. O tipo de solver afeta levemente a qualidade da amostra, especialmente para um pequeno número de etapas. Recomenda-se o uso de solversmidpoint. - lower_order_final (
bool, padrãoTrue) — Se deve usar solucionadores de ordem inferior nas etapas finais. Válido apenas para < 15 etapas de inferência. Isso pode estabilizar a amostragem do DPMSolver para etapas < 15, especialmente para etapas <= 10. - euler_at_final (
bool, padrãoFalse) — Se deve usar o método de Euler no passo final. Trata-se de um compromisso entre estabilidade numérica e riqueza de detalhes. Isso pode estabilizar a amostragem da variante SDE do DPMSolver para um pequeno número de passos de inferência, mas às vezes pode resultar em embaçamento. - use_karras_sigmas (
bool, opcional, padrãoFalse) — Se deve usar sigmas de Karras para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. SeTrue, os sigmas são determinados de acordo com uma sequência de níveis de ruído {σi}. - use_exponential_sigmas (
bool, opcional, padrãoFalse) — Se deve usar sigmas exponenciais para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. - use_beta_sigmas (
bool, opcional, padrãoFalse) — Se deve usar beta sigmas para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. Consulte Beta Sampling is All You Need para mais informações. - use_flow_sigmas (
bool, opcional, padrãoFalse) — Se deve usar sigmas de fluxo para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. - flow_shift (
float, opcional, padrão 1.0) — O fator de deslocamento de fluxo. Válido apenas quandouse_flow_sigmas=True. - lambda_min_clipped (
float, padrão-inf) — Limite de recorte para o valor mínimo delambda(t)para estabilidade numérica. Isso é crítico para o agendamento de ruído cosseno (squaredcos_cap_v2). - variance_type (
str, opcional) — Defina como “learned” ou “learned_range” para modelos de difusão que preveem a variância. Se definido, a saída do modelo contém a variância gaussiana prevista. - timestep_spacing (
str, padrão"linspace") — A forma como os timesteps devem ser escalados. Consulte a Tabela 2 do artigo Common Diffusion Noise Schedules and Sample Steps are Flawed para mais informações. - steps_offset (
int, padrão 0) — Um deslocamento adicionado às etapas de inferência, conforme exigido por algumas famílias de modelos.
DPMSolverMultistepInverseScheduler é o agendador reverso de DPMSolverMultistepScheduler.
Este modelo herda de SchedulerMixin e ConfigMixin. Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Adicione ruído aos original_samples limpos usando a função equivalente do scheduler.
convert_model_output
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Converte a saída do modelo para o tipo correspondente que o algoritmo DPMSolver/DPMSolver++ precisa. O DPM-Solver é projetado para discretizar uma integral do modelo de previsão de ruído, e o DPM-Solver++ é projetado para discretizar uma integral do modelo de previsão de dados.
> O algoritmo e o tipo de modelo são desacoplados. Você pode usar DPMSolver ou DPMSolver++ tanto para modelos de previsão de ruído quanto para modelos de previsão de dados.
dpm_solver_first_order_update
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Parâmetros
- model_output (
torch.Tensor) — A saída direta do modelo de difusão aprendido. - sample (
torch.Tensor, opcional) — Uma instância atual de uma amostra criada pelo processo de difusão. - noise (
torch.Tensor, opcional) — O tensor de ruído.
Retorna
torch.Tensor
O tensor de amostra no passo de tempo anterior.
Um passo para o DPMSolver de primeira ordem (equivalente ao DDIM).
multistep_dpm_solver_second_order_update
< source >( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Parâmetros
- model_output_list (
list[torch.Tensor]) — As saídas diretas do modelo de difusão aprendido nos timesteps atuais e subsequentes. - sample (
torch.Tensor, opcional) — Uma instância atual de uma amostra criada pelo processo de difusão. - noise (
torch.Tensor, opcional) — Ruído aleatório usado pelas variantes de solver estocástico (sde-*). Obrigatório quandoalgorithm_typeé definido como um deles e não utilizado caso contrário.
Retorna
torch.Tensor
O tensor de amostra no passo de tempo anterior.
Um passo para o DPMSolver multietapa de segunda ordem.
multistep_dpm_solver_third_order_update
< source >( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Parâmetros
- model_output_list (
list[torch.Tensor]) — As saídas diretas do modelo de difusão aprendido nos timesteps atuais e subsequentes. - sample (
torch.Tensor, opcional) — Uma instância atual de uma amostra criada pelo processo de difusão. - noise (
torch.Tensor, opcional) — O tensor de ruído.
Retorna
torch.Tensor
O tensor de amostra no passo de tempo anterior.
Um passo do DPMSolver multietapa de terceira ordem.
scale_model_input
< source >( sample: Tensor*args**kwargs ) → torch.Tensor
Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.
set_timesteps
< source >( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = None )
Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).
etapa
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple
Parâmetros
- model_output (
torch.Tensor) — A saída direta do modelo de difusão aprendido. - timestep (
int) — O timestep discreto atual na cadeia de difusão. - sample (
torch.Tensor) — Uma instância atual de uma amostra criada pelo processo de difusão. - generator (
torch.Generator, opcional) — Um gerador de números aleatórios. - variance_noise (
torch.Tensor) — Alternativa para gerar ruído comgeneratorfornecendo diretamente o ruído para a variância em si. Útil para métodos comoCycleDiffusion. - return_dict (
bool) — Se deve ou não retornar um SchedulerOutput outuple.
Retorna
SchedulerOutput ou tuple
If return_dict is True, SchedulerOutput is returned, otherwise a
tuple is returned where the first element is the sample tensor.
Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga a amostra com o DPMSolver multistep.
SchedulerOutput
classe diffusers.schedulers.scheduling_utils.SchedulerOutput
< source >( prev_sample: Tensor )
Classe base para a saída da função step de um agendador.