Diffusers

Diffusers предоставляет предобученные диффузионные модели и строительные блоки для создания собственных рабочих процессов с изображениями, видео и аудио.

Она имеет два основных пути.

• DiffusionPipeline поддерживает инференс в несколько строк с использованием предобученных чекпоинтов, а также адаптеров, таких как LoRA. Это простой путь для генерации.
• Modular Diffusers позволяет использовать составные блоки и ModularPipeline для создания собственных пайплайнов, когда требуется более точный контроль.

Оптимизации, такие как offloading и квантование, позволяют запускать большие модели на устройствах с ограниченной памятью. Если проблема памяти отсутствует, Diffusers также поддерживает torch.compile для более быстрого вывода.

Смотрите популярные модели Diffusers на Hub прямо сейчас.

Обучение

Если вы только начинаете, начните с курса Hugging Face по диффузионным моделям. В нём рассматриваются теория диффузии, а также то, как генерировать изображения, дообучать модели и многое другое с помощью Diffusers.

В Быстром старте также приведён копируемый промпт для настройки агента, используемый при инференсе.

Куда дальше

• Вывод — загрузка конвейеров и запуск генерации
• Оптимизация и масштабирование — память, скорость, квантование и обслуживание
• Модульные Diffusers — создание пользовательских конвейеров из блоков
• Обучение и дообучение — обучение диффузионных моделей и адаптеров
• CLI — запуск и упаковка пайплайнов из командной строки