Diffusers documentation
LoRA
LoRA
LoRA là phương pháp huấn luyện nhanh và nhẹ, chèn và huấn luyện một số lượng tham số nhỏ hơn đáng kể thay vì toàn bộ tham số của mô hình. Điều này tạo ra tệp nhỏ hơn (~100 MB) và giúp việc huấn luyện nhanh chóng một mô hình để học một khái niệm mới trở nên dễ dàng hơn. Trọng số LoRA thường được nạp vào denoiser, text encoder hoặc cả hai. Denoiser thường tương ứng với một UNet (ví dụ UNet2DConditionModel) hoặc một Transformer (ví dụ SD3Transformer2DModel). Có một số lớp để nạp trọng số LoRA:
StableDiffusionLoraLoaderMixincung cấp các hàm để nạp và gỡ, hợp nhất và tách, bật và tắt, cùng nhiều hàm khác để quản lý trọng số LoRA. Lớp này có thể được sử dụng với bất kỳ mô hình nào.StableDiffusionXLLoraLoaderMixinlà phiên bản Stable Diffusion (SDXL) của lớpStableDiffusionLoraLoaderMixinđể tải và lưu trữ trọng số LoRA. Nó chỉ có thể được sử dụng với mô hình SDXL.SD3LoraLoaderMixincung cấp các chức năng tương tự cho Stable Diffusion 3.FluxLoraLoaderMixincung cấp các chức năng tương tự cho Flux.CogVideoXLoraLoaderMixincung cấp các chức năng tương tự cho CogVideoX.Mochi1LoraLoaderMixincung cấp các chức năng tương tự cho Mochi.AuraFlowLoraLoaderMixincung cấp các chức năng tương tự cho AuraFlow.LTXVideoLoraLoaderMixincung cấp các chức năng tương tự cho LTX-Video.SanaLoraLoaderMixincung cấp các chức năng tương tự cho Sana.HeliosLoraLoaderMixincung cấp các chức năng tương tự cho HunyuanVideo.HunyuanVideoLoraLoaderMixincung cấp các chức năng tương tự cho HunyuanVideo.Lumina2LoraLoaderMixincung cấp các chức năng tương tự cho Lumina2.WanLoraLoaderMixincung cấp các chức năng tương tự cho Wan.SkyReelsV2LoraLoaderMixincung cấp các chức năng tương tự cho SkyReels-V2.CogView4LoraLoaderMixincung cấp các chức năng tương tự cho CogView4.AmusedLoraLoaderMixindành choAmusedPipeline.AnimaLoraLoaderMixincung cấp các chức năng tương tự cho Anima.AceStepLoraLoaderMixincung cấp các chức năng tương tự cho ACE-Step.HiDreamImageLoraLoaderMixincung cấp các chức năng tương tự cho HiDream ImageQwenImageLoraLoaderMixincung cấp các chức năng tương tự cho Qwen Image.ZImageLoraLoaderMixincung cấp các chức năng tương tự cho Z-Image.Flux2LoraLoaderMixincung cấp các chức năng tương tự cho Flux2.ErnieImageLoraLoaderMixincung cấp các chức năng tương tự cho Ernie-Image.LTX2LoraLoaderMixincung cấp các chức năng tương tự cho Flux2.MiniMaxH3LoraLoaderMixincung cấp các chức năng tương tự cho MiniMax-H3.PikaH3FlexLoraLoaderMixincung cấp các chức năng tương tự cho Pika H3 Flex.RFD4ProteinaLoraLoaderMixincung cấp các chức năng tương tự cho RFD4-Proteína.BriaFibo2LoraLoaderMixincung cấp các chức năng tương tự cho fibo-2.LoraBaseMixincung cấp một lớp cơ sở với một số phương tiện tiện ích để hợp nhất, tách, gỡ bỏ, LoRAs và nhiều hơn nữa.
Để tìm hiểu thêm về cách tải trọng số LoRA, hãy xem hướng dẫn tải LoRA.
RFD4ProteinaLoraLoaderMixin
Nạp các lớp LoRA vào RFD4ProteinaTransformer.
Autoencoder được ghép nối với checkpoint của denoiser và không được điều chỉnh, do đó transformer là module duy nhất có thể tải được.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
LoraBaseMixin
Lớp tiện ích để xử lý LoRA.
delete_adapters
< source >( adapter_names: list[str] | str )
Xóa các lớp LoRA của adapter khỏi pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_names="cinematic"
)
pipeline.delete_adapters("cinematic")Tắt các lớp LoRA đang hoạt động của pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.disable_lora()Bật các lớp LoRA đang hoạt động của pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.enable_lora()Nóng thay thế các adapter mà không kích hoạt việc biên dịch lại mô hình hoặc khi các bậc của các adapter được nạp khác nhau.
fuse_lora
< source >( components: list[str] | None = Nonelora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Tham số
- components — (
list[str]): danh sách các thành phần có thể tiêm LoRA để hợp nhất các LoRA vào. - lora_scale (
float, mặc định là 1.0) — Kiểm soát mức độ ảnh hưởng của các tham số LoRA đến đầu ra. - safe_fusing (
bool, mặc định làFalse) — Có kiểm tra các trọng số đã hợp nhất (fused) xem có chứa giá trị NaN trước khi thực hiện hợp nhất hay không, và nếu có giá trị NaN thì không hợp nhất chúng. - adapter_names (
list[str], tùy chọn) — Tên các adapter sẽ được sử dụng để hợp nhất. Nếu không truyền gì, tất cả các adapter đang hoạt động sẽ được hợp nhất.
Trộn các tham số LoRA vào các tham số gốc của các khối tương ứng.
Ví dụ:
from diffusers import DiffusionPipeline
import torch
pipeline = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights("nerijs/pixel-art-xl", weight_name="pixel-art-xl.safetensors", adapter_name="pixel")
pipeline.fuse_lora(lora_scale=0.7)Lấy danh sách các adapter đang hoạt động hiện tại.
Lấy danh sách hiện tại của tất cả các adapter khả dụng trong pipeline.
set_adapters
< source >( adapter_names: list[str] | stradapter_weights: float | dict[str, float | dict | None] | list[float | dict[str, float | dict | None] | None] | None = None )
Tham số
- adapter_names (
list[str]hoặcstr) — Tên của các adapter cần sử dụng. - adapter_weights (
float,dicthoặclist, tùy chọn) — Trọng số cho các adapter. Một giá trị vô hướng sẽ nhân lên tất cả các thành phần tương thích với LoRA. Một từ điển ánh xạ tên thành phần (ví dụ"unet","transformer"hoặc"text_encoder") tới các trọng số; trọng số của một thành phần UNet cũng có thể là một từ điển lồng nhau chứa các hệ số nhân cho từng block. Một giá trị vô hướng hoặc từ điển đơn lẻ sẽ được áp dụng cho mọi adapter. Một danh sách phải chứa đúng một giá trị vô hướng, từ điển hoặcNonecho mỗi adapter, theo thứ tự củaadapter_names.Nonemặc định là1.0, bao gồm cả các mục trong danh sách và trọng số của các thành phần. Các thành phần không được chỉ định và các block của UNet cũng mặc định là1.0.
Đặt các adapter đang hoạt động hiện tại để sử dụng trong pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.load_lora_weights(
"troveski/sdxl-lora", weight_name="pytorch_lora_weights.safetensors", adapter_name="illustration"
)
pipeline.set_adapters(["cinematic", "illustration"], adapter_weights=[0.5, 0.5])
pipeline.set_adapters(
["cinematic", "illustration"],
adapter_weights=[{"unet": 0.5}, {"unet": 0.8, "text_encoder": 0.6}],
)set_lora_device
< source >( adapter_names: list[str]device: torch.device | str | int )
Di chuyển các LoRA được liệt kê trong adapter_names sang thiết bị đích. Hữu ích để offload LoRA sang CPU trong trường hợp bạn muốn nạp nhiều adapter và giải phóng một phần bộ nhớ GPU.
Sau khi offload các adapter LoRA sang CPU, miễn là phần còn lại của mô hình vẫn nằm trên GPU, các adapter LoRA sẽ không thể được sử dụng để suy luận (inference) nữa, vì điều đó sẽ gây ra sự không khớp về thiết bị. Hãy nhớ đặt lại thiết bị về GPU trước khi sử dụng các adapter LoRA đó để suy luận.
>>> pipe.load_lora_weights(path_1, adapter_name="adapter-1")
>>> pipe.load_lora_weights(path_2, adapter_name="adapter-2")
>>> pipe.set_adapters("adapter-1")
>>> image_1 = pipe(**kwargs)
>>> # switch to adapter-2, offload adapter-1
>>> pipeline.set_lora_device(adapter_names=["adapter-1"], device="cpu")
>>> pipeline.set_lora_device(adapter_names=["adapter-2"], device="cuda:0")
>>> pipe.set_adapters("adapter-2")
>>> image_2 = pipe(**kwargs)
>>> # switch back to adapter-1, offload adapter-2
>>> pipeline.set_lora_device(adapter_names=["adapter-2"], device="cpu")
>>> pipeline.set_lora_device(adapter_names=["adapter-1"], device="cuda:0")
>>> pipe.set_adapters("adapter-1")
>>> ...unfuse_lora
< source >( components: list[str] | None = None**kwargs )
Tham số
- components (
list[str]) — danh sách các thành phần có thể tiêm LoRA để gỡ bỏ LoRA. - unfuse_unet (
bool, mặc định làTrue) — Có nên tách các tham số LoRA của UNet hay không. - unfuse_text_encoder (
bool, mặc định làTrue) — Có nên tách các tham số LoRA của text encoder hay không. Nếu text encoder không được monkey-patch với các tham số LoRA thì thao tác này sẽ không có tác dụng.
Đảo ngược tác dụng của pipe.fuse_lora().
Gỡ bỏ các tham số LoRA.
write_lora_layers
< source >( state_dict: dict[str, torch.Tensor]save_directory: stris_main_process: boolweight_name: strsave_function: Callablesafe_serialization: boollora_adapter_metadata: dict | None = None )
Viết state dict của các lớp LoRA (tùy chọn kèm metadata) ra đĩa.
StableDiffusionLoraLoaderMixin
Nạp các lớp LoRA vào UNet2DConditionModel và CLIPTextModel của Stable Diffusion.
load_lora_into_text_encoder
< source >( state_dictnetwork_alphastext_encoderprefix = Nonelora_scale = 1.0adapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Tham số
- state_dict (
dict) — Một state dict chuẩn chứa các tham số của lớp lora. Khóa nên được thêm tiền tốtext_encoderđể phân biệt với các lớp lora của unet. - network_alphas (
dict[str, float]) — Giá trị của network alpha được sử dụng cho việc học ổn định và ngăn ngừa underflow. Giá trị này có cùng ý nghĩa với tùy chọn--network_alphatrong script trainer của kohya-ss. Tham khảo liên kết này. - text_encoder (
CLIPTextModel) — Mô hình text encoder để nạp các lớp LoRA vào. - prefix (
str) — Tiền tố mong đợi củatext_encodertrongstate_dict. - lora_scale (
float) — Mức độ nhân (scale) đầu ra của lớp tuyến tính lora trước khi nó được cộng với đầu ra của lớp lora thông thường. - adapter_name (
str, tuỳ chọn) — Tên adapter được dùng để tham chiếu mô hình adapter đã tải. Nếu không được chỉ định, hệ thống sẽ sử dụngdefault_{i}trong đó i là tổng số adapter đang được tải. - low_cpu_mem_usage (
bool, tùy chọn) — Tăng tốc độ tải mô hình bằng cách chỉ tải trọng số LoRA được huấn luyện trước và không khởi tạo các trọng số ngẫu nhiên. - hotswap (
bool, tùy chọn) — Xem load_lora_weights(). - metadata (
dict) — Metadata tùy chọn của bộ thích ứng LoRA. Khi được cung cấp, các đối sốLoraConfigcủapeftsẽ không được suy ra từ state dict.
Điều này sẽ nạp các lớp LoRA được chỉ định trong state_dict vào text_encoder
load_lora_into_unet
< source >( state_dictnetwork_alphasunetadapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Tham số
- state_dict (
dict) — Một state dict chuẩn chứa các tham số của lớp lora. Các khóa có thể được chỉ định trực tiếp vào unet hoặc được thêm tiền tốunetđể phân biệt với các lớp lora của text encoder. - network_alphas (
dict[str, float]) — Giá trị của network alpha được sử dụng cho việc học ổn định và ngăn ngừa underflow. Giá trị này có cùng ý nghĩa với tùy chọn--network_alphatrong script trainer của kohya-ss. Tham khảo liên kết này. - unet (
UNet2DConditionModel) — Mô hình UNet để nạp các lớp LoRA vào. - adapter_name (
str, tuỳ chọn) — Tên adapter được dùng để tham chiếu mô hình adapter đã tải. Nếu không được chỉ định, hệ thống sẽ sử dụngdefault_{i}trong đó i là tổng số adapter đang được tải. - low_cpu_mem_usage (
bool, tùy chọn) — Tăng tốc độ tải mô hình bằng cách chỉ tải trọng số LoRA được huấn luyện trước và không khởi tạo các trọng số ngẫu nhiên. - hotswap (
bool, tùy chọn) — Xem load_lora_weights(). - metadata (
dict) — Metadata tùy chọn của bộ thích ứng LoRA. Khi được cung cấp, các đối sốLoraConfigcủapeftsẽ không được suy ra từ state dict.
Điều này sẽ nạp các lớp LoRA được chỉ định trong state_dict vào unet.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Tham số
- pretrained_model_name_or_path_or_dict (
strhoặcos.PathLikehoặcdict) — Xem lora_state_dict(). - adapter_name (
str, tuỳ chọn) — Tên adapter được dùng để tham chiếu mô hình adapter đã tải. Nếu không được chỉ định, hệ thống sẽ sử dụngdefault_{i}trong đó i là tổng số adapter đang được tải. - low_cpu_mem_usage (
bool, tùy chọn) — Tăng tốc độ tải mô hình bằng cách chỉ tải trọng số LoRA được huấn luyện trước và không khởi tạo các trọng số ngẫu nhiên. - hotswap (
bool, tuỳ chọn) — Mặc định làFalse. Liệu có thay thế adapter (LoRA) hiện có bằng adapter mới được nạp vào tại chỗ hay không. Điều này có nghĩa là, thay vì nạp thêm một adapter, phương thức này sẽ lấy trọng số của adapter hiện có và thay thế chúng bằng trọng số của adapter mới. Cách này có thể nhanh hơn và tiết kiệm bộ nhớ hơn. Tuy nhiên, lợi ích chính của việc hotswap là khi mô hình được biên dịch bằng torch.compile, việc nạp adapter mới không yêu cầu biên dịch lại mô hình. Khi sử dụng hotswap,adapter_namephải là tên của một adapter đã được nạp trước đó.Nếu adapter mới và adapter cũ có rank và/hoặc alpha LoRA (tức là hệ số scale) khác nhau, bạn cần gọi thêm một phương thức trước khi nạp adapter:
Tải trọng số LoRA được chỉ định trong pretrained_model_name_or_path_or_dict vào self.unet và self.text_encoder.
Tất cả các kwargs được chuyển tiếp đến self.lora_state_dict.
Xem lora_state_dict() để biết thêm chi tiết về cách nạp state dict.
Xem load_lora_into_unet() để biết thêm chi tiết về cách state dict được nạp vào self.unet.
Xem load_lora_into_text_encoder() để biết thêm chi tiết về cách state dict được nạp vào self.text_encoder.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Tham số
- pretrained_model_name_or_path_or_dict (
strhoặcos.PathLikehoặcdict) — Có thể là:- Một chuỗi, model id (ví dụ
google/ddpm-celebahq-256) của một mô hình được huấn luyện trước có sẵn trên Hub. - Đường dẫn đến một thư mục (ví dụ
./my_model_directory) chứa các trọng số mô hình đã được lưu bằng ModelMixin.save_pretrained(). - Một torch state dict.
- Một chuỗi, model id (ví dụ
- cache_dir (
str | os.PathLike, tùy chọn) — Đường dẫn đến thư mục nơi cấu hình mô hình được huấn luyện trước đã tải xuống được lưu đệm nếu không sử dụng bộ lưu đệm tiêu chuẩn. - force_download (
bool, tùy chọn, mặc định làFalse) — Có nên buộc tải lại (re-download) trọng số mô hình và các tệp cấu hình, ghi đè lên các phiên bản đã được lưu trong bộ nhớ đệm nếu chúng tồn tại hay không. - proxies (
dict[str, str], tuỳ chọn) — Một từ điển các máy chủ proxy để sử dụng theo giao thức hoặc điểm cuối, ví dụ,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Các proxy này được sử dụng cho mỗi yêu cầu. - local_files_only (
bool, tùy chọn, mặc định làFalse) — Xác định có chỉ tải trọng số và tệp cấu hình của mô hình từ cục bộ hay không. Nếu đặt thànhTrue, mô hình sẽ không được tải xuống từ Hub. - token (
strhoặc bool, tùy chọn) — Token được sử dụng làm HTTP bearer authorization cho các tệp từ xa. NếuTrue, token được tạo từdiffusers-cli login(được lưu trong~/.huggingface) sẽ được sử dụng. - revision (
str, tùy chọn, mặc định là"main") — Phiên bản mô hình cụ thể cần sử dụng. Nó có thể là tên nhánh, tên thẻ, id commit, hoặc bất kỳ định danh nào được Git cho phép. - subfolder (
str, tùy chọn, mặc định là"") — Vị trí thư mục con của tệp mô hình bên trong một kho lưu trữ mô hình lớn hơn trên Hub hoặc cục bộ. - weight_name (
str, tùy chọn, mặc định là None) — Tên của tệp state dict đã được serialize. - return_lora_metadata (
bool, tùy chọn, mặc định là False) — Khi được bật, đồng thời trả về metadata của adapter LoRA, thường được tìm thấy trong state dict.
Trả về state dict cho trọng số lora và các alpha của mạng.
> Chúng tôi hỗ trợ nạp các checkpoint LoRA định dạng A1111 với khả năng hạn chế. > > Hàm này là thử nghiệm và có thể thay đổi trong tương lai.
save_lora_weights
< source >( save_directory: str | os.PathLikeunet_lora_layers: dict = Nonetext_encoder_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Trueunet_lora_adapter_metadata = Nonetext_encoder_lora_adapter_metadata = None )
Tham số
- save_directory (
strhoặcos.PathLike) — Thư mục để lưu các tham số LoRA. Sẽ được tạo nếu chưa tồn tại. - unet_lora_layers (
dict[str, torch.nn.Module]hoặcdict[str, torch.Tensor]) — State dict của các lớp LoRA tương ứng vớiunet. - text_encoder_lora_layers (
dict[str, torch.nn.Module]hoặcdict[str, torch.Tensor]) — State dict của các lớp LoRA tương ứng vớitext_encoder. Phải truyền rõ state dict của LoRA cho text encoder vì nó đến từ 🤗 Transformers. - is_main_process (
bool, tùy chọn, mặc định làTrue) — Xác định xem tiến trình gọi hàm này có phải là tiến trình chính hay không. Hữu ích trong quá trình huấn luyện phân tán khi bạn cần gọi hàm này trên tất cả các tiến trình. Trong trường hợp này, chỉ đặtis_main_process=Truetrên tiến trình chính để tránh điều kiện đua. - save_function (
Callable) — Hàm được sử dụng để lưu state dictionary. Hữu ích trong quá trình huấn luyện phân tán khi bạn cần thay thếtorch.savebằng một phương pháp khác. Có thể được cấu hình bằng biến môi trườngDIFFUSERS_SAVE_MODE. - safe_serialization (
bool, tùy chọn, mặc định làTrue) — Liệu có lưu mô hình bằngsafetensorshay theo cách truyền thống của PyTorch vớipicklehay không. - unet_lora_adapter_metadata — Metadata của bộ thích ứng LoRA liên quan đến unet, sẽ được chuỗi hóa cùng với state dict.
- text_encoder_lora_adapter_metadata — Metadata của bộ thích ứng LoRA liên quan đến text encoder, sẽ được serialize cùng với state dict.
Lưu các tham số LoRA tương ứng với UNet và text encoder.
StableDiffusionXLLoraLoaderMixin
Nạp các lớp LoRA vào UNet2DConditionModel, CLIPTextModel và CLIPTextModelWithProjection của Stable Diffusion XL.
fuse_lora
< source >( components: list = ['unet', 'text_encoder', 'text_encoder_2']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_text_encoder
< source >( state_dictnetwork_alphastext_encoderprefix = Nonelora_scale = 1.0adapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Tham số
- state_dict (
dict) — Một state dict chuẩn chứa các tham số của lớp lora. Khóa nên được thêm tiền tốtext_encoderđể phân biệt với các lớp lora của unet. - network_alphas (
dict[str, float]) — Giá trị của network alpha được sử dụng cho việc học ổn định và ngăn ngừa underflow. Giá trị này có cùng ý nghĩa với tùy chọn--network_alphatrong script trainer của kohya-ss. Tham khảo liên kết này. - text_encoder (
CLIPTextModel) — Mô hình text encoder để nạp các lớp LoRA vào. - prefix (
str) — Tiền tố mong đợi củatext_encodertrongstate_dict. - lora_scale (
float) — Mức độ nhân (scale) đầu ra của lớp tuyến tính lora trước khi nó được cộng với đầu ra của lớp lora thông thường. - adapter_name (
str, tuỳ chọn) — Tên adapter được dùng để tham chiếu mô hình adapter đã tải. Nếu không được chỉ định, hệ thống sẽ sử dụngdefault_{i}trong đó i là tổng số adapter đang được tải. - low_cpu_mem_usage (
bool, tùy chọn) — Tăng tốc độ tải mô hình bằng cách chỉ tải trọng số LoRA được huấn luyện trước và không khởi tạo các trọng số ngẫu nhiên. - hotswap (
bool, tùy chọn) — Xem load_lora_weights(). - metadata (
dict) — Metadata tùy chọn của bộ thích ứng LoRA. Khi được cung cấp, các đối sốLoraConfigcủapeftsẽ không được suy ra từ state dict.
Điều này sẽ nạp các lớp LoRA được chỉ định trong state_dict vào text_encoder
load_lora_into_unet
< source >( state_dictnetwork_alphasunetadapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Tham số
- state_dict (
dict) — Một state dict chuẩn chứa các tham số của lớp lora. Các khóa có thể được chỉ định trực tiếp vào unet hoặc được thêm tiền tốunetđể phân biệt với các lớp lora của text encoder. - network_alphas (
dict[str, float]) — Giá trị của network alpha được sử dụng cho việc học ổn định và ngăn ngừa underflow. Giá trị này có cùng ý nghĩa với tùy chọn--network_alphatrong script trainer của kohya-ss. Tham khảo liên kết này. - unet (
UNet2DConditionModel) — Mô hình UNet để nạp các lớp LoRA vào. - adapter_name (
str, tuỳ chọn) — Tên adapter được dùng để tham chiếu mô hình adapter đã tải. Nếu không được chỉ định, hệ thống sẽ sử dụngdefault_{i}trong đó i là tổng số adapter đang được tải. - low_cpu_mem_usage (
bool, tùy chọn) — Tăng tốc độ tải mô hình bằng cách chỉ tải trọng số LoRA được huấn luyện trước và không khởi tạo các trọng số ngẫu nhiên. - hotswap (
bool, tùy chọn) — Xem load_lora_weights(). - metadata (
dict) — Metadata tùy chọn của bộ thích ứng LoRA. Khi được cung cấp, các đối sốLoraConfigcủapeftsẽ không được suy ra từ state dict.
Điều này sẽ nạp các lớp LoRA được chỉ định trong state_dict vào unet.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Tham số
- pretrained_model_name_or_path_or_dict (
strhoặcos.PathLikehoặcdict) — Có thể là:- Một chuỗi, model id (ví dụ
google/ddpm-celebahq-256) của một mô hình được huấn luyện trước có sẵn trên Hub. - Đường dẫn đến một thư mục (ví dụ
./my_model_directory) chứa các trọng số mô hình đã được lưu bằng ModelMixin.save_pretrained(). - Một torch state dict.
- Một chuỗi, model id (ví dụ
- cache_dir (
str | os.PathLike, tùy chọn) — Đường dẫn đến thư mục nơi cấu hình mô hình được huấn luyện trước đã tải xuống được lưu đệm nếu không sử dụng bộ lưu đệm tiêu chuẩn. - force_download (
bool, tùy chọn, mặc định làFalse) — Có nên buộc tải lại (re-download) trọng số mô hình và các tệp cấu hình, ghi đè lên các phiên bản đã được lưu trong bộ nhớ đệm nếu chúng tồn tại hay không. - proxies (
dict[str, str], tuỳ chọn) — Một từ điển các máy chủ proxy để sử dụng theo giao thức hoặc điểm cuối, ví dụ,{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Các proxy này được sử dụng cho mỗi yêu cầu. - local_files_only (
bool, tùy chọn, mặc định làFalse) — Xác định có chỉ tải trọng số và tệp cấu hình của mô hình từ cục bộ hay không. Nếu đặt thànhTrue, mô hình sẽ không được tải xuống từ Hub. - token (
strhoặc bool, tùy chọn) — Token được sử dụng làm HTTP bearer authorization cho các tệp từ xa. NếuTrue, token được tạo từdiffusers-cli login(được lưu trong~/.huggingface) sẽ được sử dụng. - revision (
str, tùy chọn, mặc định là"main") — Phiên bản mô hình cụ thể cần sử dụng. Nó có thể là tên nhánh, tên thẻ, id commit, hoặc bất kỳ định danh nào được Git cho phép. - subfolder (
str, tùy chọn, mặc định là"") — Vị trí thư mục con của tệp mô hình bên trong một kho lưu trữ mô hình lớn hơn trên Hub hoặc cục bộ. - weight_name (
str, tùy chọn, mặc định là None) — Tên của tệp state dict đã được serialize. - return_lora_metadata (
bool, tùy chọn, mặc định là False) — Khi được bật, đồng thời trả về metadata của adapter LoRA, thường được tìm thấy trong state dict.
Trả về state dict cho trọng số lora và các alpha của mạng.
> Chúng tôi hỗ trợ nạp các checkpoint LoRA định dạng A1111 với khả năng hạn chế. > > Hàm này là thử nghiệm và có thể thay đổi trong tương lai.
save_lora_weights
< source >( save_directory: str | os.PathLikeunet_lora_layers: dict = Nonetext_encoder_lora_layers: dict = Nonetext_encoder_2_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Trueunet_lora_adapter_metadata = Nonetext_encoder_lora_adapter_metadata = Nonetext_encoder_2_lora_adapter_metadata = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
SD3LoraLoaderMixin
Tải các lớp LoRA vào SD3Transformer2DModel, CLIPTextModel và CLIPTextModelWithProjection.
Đặc thù cho StableDiffusion3Pipeline.
fuse_lora
< source >( components: list = ['transformer', 'text_encoder', 'text_encoder_2']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_text_encoder
< source >( state_dictnetwork_alphastext_encoderprefix = Nonelora_scale = 1.0adapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Tham số
- state_dict (
dict) — Một state dict chuẩn chứa các tham số của lớp lora. Khóa nên được thêm tiền tốtext_encoderđể phân biệt với các lớp lora của unet. - network_alphas (
dict[str, float]) — Giá trị của network alpha được sử dụng cho việc học ổn định và ngăn ngừa underflow. Giá trị này có cùng ý nghĩa với tùy chọn--network_alphatrong script trainer của kohya-ss. Tham khảo liên kết này. - text_encoder (
CLIPTextModel) — Mô hình text encoder để nạp các lớp LoRA vào. - prefix (
str) — Tiền tố mong đợi củatext_encodertrongstate_dict. - lora_scale (
float) — Mức độ nhân (scale) đầu ra của lớp tuyến tính lora trước khi nó được cộng với đầu ra của lớp lora thông thường. - adapter_name (
str, tuỳ chọn) — Tên adapter được dùng để tham chiếu mô hình adapter đã tải. Nếu không được chỉ định, hệ thống sẽ sử dụngdefault_{i}trong đó i là tổng số adapter đang được tải. - low_cpu_mem_usage (
bool, tùy chọn) — Tăng tốc độ tải mô hình bằng cách chỉ tải trọng số LoRA được huấn luyện trước và không khởi tạo các trọng số ngẫu nhiên. - hotswap (
bool, tùy chọn) — Xem load_lora_weights(). - metadata (
dict) — Metadata tùy chọn của bộ thích ứng LoRA. Khi được cung cấp, các đối sốLoraConfigcủapeftsẽ không được suy ra từ state dict.
Điều này sẽ nạp các lớp LoRA được chỉ định trong state_dict vào text_encoder
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Nonetext_encoder_lora_layers: dict = Nonetext_encoder_2_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata = Nonetext_encoder_lora_adapter_metadata = Nonetext_encoder_2_lora_adapter_metadata = None )
Xem save_lora_weights() để biết thêm thông tin.
unfuse_lora
< source >( components: list = ['transformer', 'text_encoder', 'text_encoder_2']**kwargs )
Xem unfuse_lora() để biết thêm chi tiết.
FluxLoraLoaderMixin
Nạp các lớp LoRA vào FluxTransformer2DModel, CLIPTextModel.
Đặc thù của FluxPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
load_lora_into_text_encoder
< source >( state_dictnetwork_alphastext_encoderprefix = Nonelora_scale = 1.0adapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Tham số
- state_dict (
dict) — Một state dict chuẩn chứa các tham số của lớp lora. Khóa nên được thêm tiền tốtext_encoderđể phân biệt với các lớp lora của unet. - network_alphas (
dict[str, float]) — Giá trị của network alpha được sử dụng cho việc học ổn định và ngăn ngừa underflow. Giá trị này có cùng ý nghĩa với tùy chọn--network_alphatrong script trainer của kohya-ss. Tham khảo liên kết này. - text_encoder (
CLIPTextModel) — Mô hình text encoder để nạp các lớp LoRA vào. - prefix (
str) — Tiền tố mong đợi củatext_encodertrongstate_dict. - lora_scale (
float) — Mức độ nhân (scale) đầu ra của lớp tuyến tính lora trước khi nó được cộng với đầu ra của lớp lora thông thường. - adapter_name (
str, tuỳ chọn) — Tên adapter được dùng để tham chiếu mô hình adapter đã tải. Nếu không được chỉ định, hệ thống sẽ sử dụngdefault_{i}trong đó i là tổng số adapter đang được tải. - low_cpu_mem_usage (
bool, tùy chọn) — Tăng tốc độ tải mô hình bằng cách chỉ tải trọng số LoRA được huấn luyện trước và không khởi tạo các trọng số ngẫu nhiên. - hotswap (
bool, tùy chọn) — Xem load_lora_weights(). - metadata (
dict) — Metadata tùy chọn của bộ thích ứng LoRA. Khi được cung cấp, các đối sốLoraConfigcủapeftsẽ không được suy ra từ state dict.
Điều này sẽ nạp các lớp LoRA được chỉ định trong state_dict vào text_encoder
load_lora_into_transformer
< source >( state_dictnetwork_alphastransformeradapter_name = Nonemetadata = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = False )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]return_alphas: bool = False**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Nonetext_encoder_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata = Nonetext_encoder_lora_adapter_metadata = None )
Tham số
- save_directory (
strhoặcos.PathLike) — Thư mục để lưu các tham số LoRA. Sẽ được tạo nếu chưa tồn tại. - transformer_lora_layers (
dict[str, torch.nn.Module]hoặcdict[str, torch.Tensor]) — State dict của các lớp LoRA tương ứng vớitransformer. - text_encoder_lora_layers (
dict[str, torch.nn.Module]hoặcdict[str, torch.Tensor]) — State dict của các lớp LoRA tương ứng vớitext_encoder. Phải truyền rõ state dict của LoRA cho text encoder vì nó đến từ 🤗 Transformers. - is_main_process (
bool, tùy chọn, mặc định làTrue) — Xác định xem tiến trình gọi hàm này có phải là tiến trình chính hay không. Hữu ích trong quá trình huấn luyện phân tán khi bạn cần gọi hàm này trên tất cả các tiến trình. Trong trường hợp này, chỉ đặtis_main_process=Truetrên tiến trình chính để tránh điều kiện đua. - save_function (
Callable) — Hàm được sử dụng để lưu state dictionary. Hữu ích trong quá trình huấn luyện phân tán khi bạn cần thay thếtorch.savebằng một phương pháp khác. Có thể được cấu hình bằng biến môi trườngDIFFUSERS_SAVE_MODE. - safe_serialization (
bool, tùy chọn, mặc định làTrue) — Liệu có lưu mô hình bằngsafetensorshay theo cách truyền thống của PyTorch vớipicklehay không. - transformer_lora_adapter_metadata — Metadata của adapter LoRA liên quan đến transformer, sẽ được serialize cùng với state dict.
- text_encoder_lora_adapter_metadata — Metadata của bộ thích ứng LoRA liên quan đến text encoder, sẽ được serialize cùng với state dict.
Lưu các tham số LoRA tương ứng với UNet và text encoder.
unfuse_lora
< source >( components: list = ['transformer', 'text_encoder']**kwargs )
Đảo ngược tác dụng của pipe.fuse_lora().
unload_lora_weights
< source >( reset_to_overwritten_params = False )
Tham số
- reset_to_overwritten_params (
bool, mặc định làFalse) — Xác định có đặt lại các module đã nạp LoRA về tham số gốc hay không. Xem tài liệu Flux để biết thêm.
Gỡ bỏ các tham số LoRA.
Flux2LoraLoaderMixin
Tải các lớp LoRA vào Flux2Transformer2DModel. Cụ thể cho Flux2Pipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
Flux3LoraLoaderMixin
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
BriaFibo2LoraLoaderMixin
Nạp các lớp LoRA vào BriaFibo2Transformer2DModel. Cụ thể cho BriaFibo2Pipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
ErnieImageLoraLoaderMixin
Tải các lớp LoRA vào ErnieImageTransformer2DModel. Cụ thể cho ErnieImagePipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
LTX2LoraLoaderMixin
Nạp các lớp LoRA vào LTX2VideoTransformer3DModel. Cụ thể cho LTX2Pipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = Noneprefix: str = 'transformer' )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
CogVideoXLoraLoaderMixin
Nạp các lớp LoRA vào CogVideoXTransformer3DModel. Cụ thể cho CogVideoXPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
Mochi1LoraLoaderMixin
Nạp các lớp LoRA vào MochiTransformer3DModel. Cụ thể cho MochiPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
AuraFlowLoraLoaderMixin
Nạp các lớp LoRA vào AuraFlowTransformer2DModel Cụ thể cho AuraFlowPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
LTXVideoLoraLoaderMixin
Nạp các lớp LoRA vào LTXVideoTransformer3DModel. Cụ thể cho LTXPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
SanaLoraLoaderMixin
Nạp các lớp LoRA vào SanaTransformer2DModel. Cụ thể cho SanaPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
HeliosLoraLoaderMixin
Nạp các lớp LoRA vào HeliosTransformer3DModel. Cụ thể cho HeliosPipeline và HeliosPyramidPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
HunyuanVideoLoraLoaderMixin
Nạp các lớp LoRA vào HunyuanVideoTransformer3DModel. Cụ thể cho HunyuanVideoPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
Lumina2LoraLoaderMixin
Nạp các lớp LoRA vào Lumina2Transformer2DModel. Cụ thể cho Lumina2Pipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
CogView4LoraLoaderMixin
Nạp các lớp LoRA vào WanTransformer3DModel. Cụ thể cho CogView4Pipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
WanLoraLoaderMixin
Nạp các lớp LoRA vào WanTransformer3DModel. Cụ thể cho WanPipeline và [WanImageToVideoPipeline].
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
SkyReelsV2LoraLoaderMixin
Nạp các lớp LoRA vào SkyReelsV2Transformer3DModel.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
AmusedLoraLoaderMixin
load_lora_into_transformer
< source >( state_dictnetwork_alphastransformeradapter_name = Nonemetadata = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = False )
Xem load_lora_into_unet() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketext_encoder_lora_layers: dict = Nonetransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = True )
Tham số
- save_directory (
strhoặcos.PathLike) — Thư mục để lưu các tham số LoRA. Sẽ được tạo nếu chưa tồn tại. - unet_lora_layers (
dict[str, torch.nn.Module]hoặcdict[str, torch.Tensor]) — State dict của các lớp LoRA tương ứng vớiunet. - text_encoder_lora_layers (
dict[str, torch.nn.Module]hoặcdict[str, torch.Tensor]) — State dict của các lớp LoRA tương ứng vớitext_encoder. Phải truyền rõ state dict của LoRA cho text encoder vì nó đến từ 🤗 Transformers. - is_main_process (
bool, tùy chọn, mặc định làTrue) — Xác định xem tiến trình gọi hàm này có phải là tiến trình chính hay không. Hữu ích trong quá trình huấn luyện phân tán khi bạn cần gọi hàm này trên tất cả các tiến trình. Trong trường hợp này, chỉ đặtis_main_process=Truetrên tiến trình chính để tránh điều kiện đua. - save_function (
Callable) — Hàm được sử dụng để lưu state dictionary. Hữu ích trong quá trình huấn luyện phân tán khi bạn cần thay thếtorch.savebằng một phương pháp khác. Có thể được cấu hình bằng biến môi trườngDIFFUSERS_SAVE_MODE. - safe_serialization (
bool, tùy chọn, mặc định làTrue) — Liệu có lưu mô hình bằngsafetensorshay theo cách truyền thống của PyTorch vớipicklehay không.
Lưu các tham số LoRA tương ứng với UNet và text encoder.
AnimaLoraLoaderMixin
Nạp các lớp LoRA vào CosmosTransformer3DModel và AnimaTextConditioner.
fuse_lora
< source >( components: list = ['transformer', 'text_conditioner']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
Xem unfuse_lora() để biết thêm chi tiết.
AceStepLoraLoaderMixin
Nạp các lớp LoRA vào AceStepTransformer1DModel. Cụ thể cho AceStepPipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
HiDreamImageLoraLoaderMixin
Nạp các lớp LoRA vào HiDreamImageTransformer2DModel. Cụ thể cho HiDreamImagePipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
QwenImageLoraLoaderMixin
Nạp các lớp LoRA vào QwenImageTransformer2DModel. Cụ thể cho QwenImagePipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
ZImageLoraLoaderMixin
Nạp các lớp LoRA vào ZImageTransformer2DModel. Cụ thể cho ZImagePipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
CosmosLoraLoaderMixin
Nạp các lớp LoRA vào CosmosTransformer3DModel, dành riêng cho Cosmos2_5_PredictBasePipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
KandinskyLoraLoaderMixin
Nạp các lớp LoRA vào Kandinsky5Transformer3DModel,
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
Ideogram4LoraLoaderMixin
Nạp các lớp LoRA vào Ideogram4Transformer2DModel. Cụ thể cho Ideogram4Pipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
Krea2LoraLoaderMixin
Nạp các lớp LoRA vào Krea2Transformer2DModel. Cụ thể cho Krea2Pipeline.
fuse_lora
< source >( components: list = ['transformer']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = False**kwargs )
Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = None )
Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
MiniMaxH3LoraLoaderMixin
Tải các lớp LoRA vào MiniMaxH3Transformer3DModel. Cụ thể cho MiniMaxH3ModularPipeline.
MiniMax-H3 có hai phân vùng DiT độc lập với tên module giống hệt nhau (một LoRA dành cho phân vùng này sẽ được nạp vào phân vùng kia và làm giảm chất lượng đầu ra), do đó việc định tuyến là rõ ràng: các state dict đã chuyển đổi nhắm đến transformer.; truy cập transformer_ref bằng một tệp có tiền tố transformer_ref. hoặc load_into_transformer_ref=True.
LoRA của DiffSynth-Studio (ví dụ DiffSynth-Studio/MiniMax-H3-LoRA-LineartAnime)
được huấn luyện dựa trên QKV đã hợp nhất theo kiểu xen kẽ từng đầu (per-head-interleaved) của checkpoint gốc và được tách xen kẽ (de-interleave) khi chuyển đổi. Các hệ số fp32 của chúng khiến đường dẫn LoRA chưa hợp nhất (unfused) được tính toán ở fp32; việc gọi .to(torch.bfloat16) trên mô hình sau khi tải sẽ khôi phục ngân sách bộ nhớ bf16.
LoRA được huấn luyện trên checkpoint đã cắt tỉa (các tệp *_pruned_* trong Comfy-Org/MiniMax-H3; joyfox/MiniMax-H3-Turbo là một ví dụ) sẽ gặp lỗi không khớp kích thước.
Các tệp không có alpha được nạp với alpha == rank (thang 1.0, quy ước được nêu bởi ví dụ larryvrh/MiniMax-H3-Turbo-Lora); mục alpha trong __metadata__ (ví dụ tệp 8 bước của lightx2v/Minimax-h3-Turbo), nếu có, sẽ được ưu tiên áp dụng.
fuse_lora
< source >( components: list = ['transformer', 'transformer_ref']lora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Xem fuse_lora() để biết thêm chi tiết.
load_lora_into_transformer
< source >( state_dicttransformeradapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_into_transformer_ref
< source >( state_dicttransformer_refprefixadapter_name = None_pipeline = Nonelow_cpu_mem_usage = Falsehotswap: bool = Falsemetadata = None )
Nạp các lớp LoRA vào phân vùng transformer_ref. prefix là tên thành phần mà các key mang theo, cụ thể là transformer_ref đối với tệp có đặt tên cho phân vùng và transformer đối với tệp được định tuyến đến đây bởi load_into_transformer_ref=True. Xem load_lora_into_unet() để biết thêm chi tiết.
load_lora_weights
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]adapter_name: str | None = Nonehotswap: bool = Falseload_into_transformer_ref: bool = False**kwargs )
Tham số
- load_into_transformer_ref (
bool, mặc định làFalse) — Tải các lớp có tiền tốtransformer.vào phân vùngtransformer_ref— nơi quy trìnhref2vathực hiện khử nhiễu — thay vìtransformer. Chỉ cần thiết khi cả hai phân vùng đều được tải: một pipeline chỉ giữtransformer_refsẽ tự động định tuyến đến đó.
Tải các lớp LoRA vào transformer hoặc, với load_into_transformer_ref=True, vào transformer_ref. Xem load_lora_weights() để biết thêm chi tiết.
lora_state_dict
< source >( pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor]**kwargs )
Xem lora_state_dict() để biết thêm chi tiết.
save_lora_weights
< source >( save_directory: str | os.PathLiketransformer_lora_layers: dict = Nonetransformer_ref_lora_layers: dict = Noneis_main_process: bool = Trueweight_name: str = Nonesave_function: typing.Callable = Nonesafe_serialization: bool = Truetransformer_lora_adapter_metadata: dict | None = Nonetransformer_ref_lora_adapter_metadata: dict | None = None )
Lưu các lớp LoRA của một hoặc cả hai phân vùng MiniMax-H3. Việc một LoRA thuộc về phân vùng nào không thể khôi phục từ các khóa của nó, do đó đây là cách duy nhất để công bố một H3 LoRA có ghi lại thông tin này. Xem save_lora_weights() để biết thêm thông tin.
Xem unfuse_lora() để biết thêm chi tiết.
PikaH3FlexLoraLoaderMixin
Tải các lớp LoRA vào MiniMaxH3Transformer3DModel. Cụ thể dành cho PikaH3FlexModularPipeline.
Phiên bản Pika H3 Flex là một cặp adapter rank-128 trên hai phân vùng transformer của MiniMax-H3, được phát hành dưới dạng các bản dump PEFT thuần túy theo tên module của diffusers (fl2va/adapter.safetensors cho transformer, ref2va/adapter.safetensors cho transformer_ref). Các tệp không có alpha được nạp với alpha == rank (scale 1.0), đúng theo hợp đồng của chính các adapter, và việc nạp, định tuyến cũng như lưu trữ tuân theo MiniMaxH3LoraLoaderMixin: adapter fl2va được đưa vào transformer, còn adapter ref2va vào transformer_ref — riêng lẻ khi pipeline chỉ giữ phân vùng đó (workflow="ref2va"), hoặc với load_into_transformer_ref=True khi pipeline giữ cả hai.
LoraBaseMixin
Lớp tiện ích để xử lý LoRA.
delete_adapters
< source >( adapter_names: list[str] | str )
Xóa các lớp LoRA của adapter khỏi pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_names="cinematic"
)
pipeline.delete_adapters("cinematic")Tắt các lớp LoRA đang hoạt động của pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.disable_lora()Bật các lớp LoRA đang hoạt động của pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.enable_lora()Nóng thay thế các adapter mà không kích hoạt việc biên dịch lại mô hình hoặc khi các bậc của các adapter được nạp khác nhau.
fuse_lora
< source >( components: list[str] | None = Nonelora_scale: float = 1.0safe_fusing: bool = Falseadapter_names: list[str] | None = None**kwargs )
Tham số
- components — (
list[str]): danh sách các thành phần có thể tiêm LoRA để hợp nhất các LoRA vào. - lora_scale (
float, mặc định là 1.0) — Kiểm soát mức độ ảnh hưởng của các tham số LoRA đến đầu ra. - safe_fusing (
bool, mặc định làFalse) — Có kiểm tra các trọng số đã hợp nhất (fused) xem có chứa giá trị NaN trước khi thực hiện hợp nhất hay không, và nếu có giá trị NaN thì không hợp nhất chúng. - adapter_names (
list[str], tùy chọn) — Tên các adapter sẽ được sử dụng để hợp nhất. Nếu không truyền gì, tất cả các adapter đang hoạt động sẽ được hợp nhất.
Trộn các tham số LoRA vào các tham số gốc của các khối tương ứng.
Ví dụ:
from diffusers import DiffusionPipeline
import torch
pipeline = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights("nerijs/pixel-art-xl", weight_name="pixel-art-xl.safetensors", adapter_name="pixel")
pipeline.fuse_lora(lora_scale=0.7)Lấy danh sách các adapter đang hoạt động hiện tại.
Lấy danh sách hiện tại của tất cả các adapter khả dụng trong pipeline.
set_adapters
< source >( adapter_names: list[str] | stradapter_weights: float | dict[str, float | dict | None] | list[float | dict[str, float | dict | None] | None] | None = None )
Tham số
- adapter_names (
list[str]hoặcstr) — Tên của các adapter cần sử dụng. - adapter_weights (
float,dicthoặclist, tùy chọn) — Trọng số cho các adapter. Một giá trị vô hướng sẽ nhân lên tất cả các thành phần tương thích với LoRA. Một từ điển ánh xạ tên thành phần (ví dụ"unet","transformer"hoặc"text_encoder") tới các trọng số; trọng số của một thành phần UNet cũng có thể là một từ điển lồng nhau chứa các hệ số nhân cho từng block. Một giá trị vô hướng hoặc từ điển đơn lẻ sẽ được áp dụng cho mọi adapter. Một danh sách phải chứa đúng một giá trị vô hướng, từ điển hoặcNonecho mỗi adapter, theo thứ tự củaadapter_names.Nonemặc định là1.0, bao gồm cả các mục trong danh sách và trọng số của các thành phần. Các thành phần không được chỉ định và các block của UNet cũng mặc định là1.0.
Đặt các adapter đang hoạt động hiện tại để sử dụng trong pipeline.
Ví dụ:
from diffusers import AutoPipelineForText2Image
import torch
pipeline = AutoPipelineForText2Image.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
"jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.load_lora_weights(
"troveski/sdxl-lora", weight_name="pytorch_lora_weights.safetensors", adapter_name="illustration"
)
pipeline.set_adapters(["cinematic", "illustration"], adapter_weights=[0.5, 0.5])
pipeline.set_adapters(
["cinematic", "illustration"],
adapter_weights=[{"unet": 0.5}, {"unet": 0.8, "text_encoder": 0.6}],
)set_lora_device
< source >( adapter_names: list[str]device: torch.device | str | int )
Di chuyển các LoRA được liệt kê trong adapter_names sang thiết bị đích. Hữu ích để offload LoRA sang CPU trong trường hợp bạn muốn nạp nhiều adapter và giải phóng một phần bộ nhớ GPU.
Sau khi offload các adapter LoRA sang CPU, miễn là phần còn lại của mô hình vẫn nằm trên GPU, các adapter LoRA sẽ không thể được sử dụng để suy luận (inference) nữa, vì điều đó sẽ gây ra sự không khớp về thiết bị. Hãy nhớ đặt lại thiết bị về GPU trước khi sử dụng các adapter LoRA đó để suy luận.
>>> pipe.load_lora_weights(path_1, adapter_name="adapter-1")
>>> pipe.load_lora_weights(path_2, adapter_name="adapter-2")
>>> pipe.set_adapters("adapter-1")
>>> image_1 = pipe(**kwargs)
>>> # switch to adapter-2, offload adapter-1
>>> pipeline.set_lora_device(adapter_names=["adapter-1"], device="cpu")
>>> pipeline.set_lora_device(adapter_names=["adapter-2"], device="cuda:0")
>>> pipe.set_adapters("adapter-2")
>>> image_2 = pipe(**kwargs)
>>> # switch back to adapter-1, offload adapter-2
>>> pipeline.set_lora_device(adapter_names=["adapter-2"], device="cpu")
>>> pipeline.set_lora_device(adapter_names=["adapter-1"], device="cuda:0")
>>> pipe.set_adapters("adapter-1")
>>> ...unfuse_lora
< source >( components: list[str] | None = None**kwargs )
Tham số
- components (
list[str]) — danh sách các thành phần có thể tiêm LoRA để gỡ bỏ LoRA. - unfuse_unet (
bool, mặc định làTrue) — Có nên tách các tham số LoRA của UNet hay không. - unfuse_text_encoder (
bool, mặc định làTrue) — Có nên tách các tham số LoRA của text encoder hay không. Nếu text encoder không được monkey-patch với các tham số LoRA thì thao tác này sẽ không có tác dụng.
Đảo ngược tác dụng của pipe.fuse_lora().
Gỡ bỏ các tham số LoRA.
write_lora_layers
< source >( state_dict: dict[str, torch.Tensor]save_directory: stris_main_process: boolweight_name: strsave_function: Callablesafe_serialization: boollora_adapter_metadata: dict | None = None )
Viết state dict của các lớp LoRA (tùy chọn kèm metadata) ra đĩa.