TRL documentation

Trainer ORPO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Trainer ORPO

model badge model badge

Tổng quan

Odds Ratio Preference Optimization (ORPO) được giới thiệu trong ORPO: Monolithic Preference Optimization without Reference Model bởi Jiwoo Hong, Noah Lee và James Thorne.

Tóm tắt từ bài báo như sau:

Mặc dù các thuật toán căn chỉnh sở thích gần đây cho mô hình ngôn ngữ đã cho thấy những kết quả đầy hứa hẹn, nhưng tinh chỉnh có giám sát (SFT) vẫn là điều thiết yếu để đạt được sự hội tụ thành công. Trong bài báo này, chúng tôi nghiên cứu vai trò quan trọng của SFT trong bối cảnh căn chỉnh sở thích, nhấn mạnh rằng một hình phạt nhỏ đối với phong cách sinh thành không được ưa chuộng là đủ cho SFT đã căn chỉnh sở thích. Dựa trên nền tảng này, chúng tôi giới thiệu một thuật toán tối ưu hóa tỷ lệ phần trăm sở thích đơn khối, không cần mô hình tham chiếu, đơn giản và mới颖, ORPO, loại bỏ sự cần thiết của một giai đoạn căn chỉnh sở thích bổ sung. Chúng tôi chứng minh, cả về mặt thực nghiệm lẫn lý thuyết, rằng tỷ lệ phần trăm là một lựa chọn hợp lý để tương phản các phong cách được ưa chuộng và không được ưa chuộng trong quá trình SFT trên các kích thước đa dạng từ 125M đến 7B. Cụ thể, việc tinh chỉnh Phi-2 (2.7B), Llama-2 (7B) và Mistral (7B) bằng ORPO chỉ trên UltraFeedback đã vượt qua hiệu suất của các mô hình ngôn ngữ tiên tiến nhất có hơn 7B và 13B tham số: đạt tới 12.20% trên AlpacaEval_{2.0} (Hình 1), 66.19% trên IFEval (thông số mức độ lỏng lẻo, Bảng 6) và 7.32 trên MT-Bench (Hình 12). Chúng tôi phát hành mã nguồn và các điểm kiểm tra mô hình cho Mistral-ORPO-alpha (7B) và Mistral-ORPO-beta (7B).

Nghiên cứu này xem xét vai trò quan trọng của SFT trong bối cảnh căn chỉnh sở thích. Sử dụng dữ liệu sở thích, phương pháp này cho rằng một hình phạt nhỏ đối với phần sinh không được ưa thích, kết hợp với một tín hiệu thích ứng mạnh mẽ đến phản hồi được chọn thông qua một hạng tử tỷ lệ log odds đơn giản được thêm vào tổn thất NLL, là đủ để thực hiện SFT đã căn chỉnh sở thích.

Do đó, ORPO là một thuật toán tối ưu hóa sở thích không cần mô hình tham chiếu, loại bỏ nhu cầu về một giai đoạn căn chỉnh sở thích bổ sung, từ đó tiết kiệm tài nguyên tính toán và bộ nhớ.

Mã nguồn chính thức có thể được tìm thấy tại xfactlab/orpo.

Phương pháp huấn luyện sau này được đóng góp bởi Kashif Rasul, Lewis Tunstall và Alvaro Bartolome.

Bắt đầu nhanh

Ví dụ này minh họa cách huấn luyện một mô hình bằng phương pháp ORPO. Chúng ta sử dụng mô hình Qwen 0.5B làm mô hình cơ sở. Chúng ta sử dụng dữ liệu ưu tiên từ dataset UltraFeedback. Bạn có thể xem dữ liệu trong dataset tại đây:

Dưới đây là script để huấn luyện mô hình:

# train_orpo.py
from datasets import load_dataset
from trl.experimental.orpo import ORPOConfig, ORPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = ORPOConfig(output_dir="Qwen2-0.5B-ORPO")
trainer = ORPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

Chạy script bằng lệnh sau:

torchrun --nproc_per_node 8 train_orpo.py

Được phân phối trên 8 GPU, quá trình huấn luyện mất khoảng 30 phút. Bạn có thể kiểm tra tiến độ huấn luyện bằng cách xem biểu đồ phần thưởng. Xu hướng tăng của biên độ phần thưởng cho thấy mô hình đang cải thiện và tạo ra các phản hồi tốt hơn theo thời gian.

orpo qwen2 reward margin

Để xem mô hình đã huấn luyện hoạt động như thế nào, bạn có thể sử dụng Transformers Chat CLI.

$ transformers chat trl-lib/Qwen2-0.5B-ORPO
<quentin_gallouedec>:
What is the best programming language?

<trl-lib/Qwen2-0.5B-ORPO>:
It's challenging to determine the best programming language as no one language is perfect, as the complexity of a task and the type of project are significant factors. Some popular languages include Java, Python, JavaScript, and
C++. If you have specific needs or requirements for a specific project, it's important to choose the language that best suits those needs.

Here are some other factors to consider when choosing a programming language for a project:

 • Language proficiency: A good programming language is more likely to be easy to understand and use, and will allow developers to collaborate on projects more efficiently.
 • Ease of use: There are tools and libraries available to make programming more accessible, so developers should choose a language that can help them get started easier.
 • Code readability: A clear and concise codebase should be easy to read and understand, especially when working with large projects.
 • Tool and framework support: There are numerous libraries available for Python, Java, and JavaScript, along with tools like IDEs and static code analysis tools.
 • Accessibility: Some languages and tools have features that make them more accessible to developers with disabilities, such as support for screen readers.
 • Version control: As your projects grow and complexity increases, version control tools can be beneficial for tracking changes.

Kiểu dữ liệu tập dữ liệu dự kiến

ORPO yêu cầu một dataset sở thích. experimental.orpo.ORPOTrainer hỗ trợ cả định dạng dataset đối thoại và chuẩn. Khi được cung cấp một dataset đối thoại, trainer sẽ tự động áp dụng chat template lên dataset.

Mặc dù experimental.orpo.ORPOTrainer hỗ trợ cả prompt tường minh và prompt ẩn, chúng tôi khuyến nghị sử dụng prompt tường minh. Nếu được cung cấp một tập dữ liệu prompt ẩn, trainer sẽ tự động trích xuất prompt từ các cột "chosen" và "rejected". Để biết thêm thông tin, hãy tham khảo phần preference style.

Mẹo sử dụng

Đối với các Mô hình Hỗn hợp Chuyên gia: Bật tổn thất bổ trợ

MOE đạt hiệu quả cao nhất khi tải được phân bổ gần như đồng đều giữa các chuyên gia.
Để đảm bảo việc huấn luyện MOE tương tự trong quá trình tinh chỉnh theo sở thích, việc bổ sung tổn thất phụ từ bộ cân bằng tải vào tổn thất cuối cùng là rất có lợi.

Tùy chọn này được bật bằng cách đặt output_router_logits=True trong cấu hình mô hình (ví dụ MixtralConfig).
Để điều chỉnh mức độ đóng góp của tổn thất phụ vào tổng tổn thất, hãy sử dụng siêu tham số router_aux_loss_coef=... (mặc định: 0.001) trong cấu hình mô hình.

Các chỉ số được ghi log

Trong quá trình huấn luyện và đánh giá, chúng ta ghi lại các chỉ số sau:

  • rewards/chosen: trung bình của log xác suất của mô hình chính sách cho các phản hồi được chọn, được nhân với beta
  • rewards/rejected: trung bình của log xác suất của mô hình chính sách cho các phản hồi bị từ chối, được nhân với beta
  • rewards/accuracies: trung bình của tần suất phần thưởng được chọn > phần thưởng bị từ chối tương ứng
  • rewards/margins: hiệu số trung bình giữa phần thưởng được chọn và phần thưởng bị từ chối tương ứng
  • log_odds_chosen: tỷ lệ log odds trung bình của các phản hồi được chọn so với các phản hồi bị từ chối
  • log_odds_ratio: trung bình của log(sigmoid(log_odds_chosen))
  • nll_loss: tổn thất trung bình của log likelihood âm từ phần SFT của tổn thất trên các phản hồi được chọn

ORPOTrainer

class trl.experimental.orpo.ORPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.orpo.orpo_config.ORPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )

Tham số

  • model (PreTrainedModel) — Mô hình cần huấn luyện, tốt nhất là một AutoModelForSequenceClassification.
  • args (experimental.orpo.ORPOConfig) — Các đối số cấu hình ORPO để sử dụng cho huấn luyện.
  • data_collator (DataCollator) — Data collator được sử dụng cho quá trình huấn luyện. Nếu không chỉ định (None), data collator mặc định (experimental.utils.DPODataCollatorWithPadding) sẽ được sử dụng, thực hiện việc đệm (padding) các chuỗi đến độ dài tối đa của các chuỗi trong batch, dựa trên một dataset gồm các cặp chuỗi.
  • train_dataset (Dataset) — Bộ dữ liệu được sử dụng để huấn luyện.
  • eval_dataset (Dataset) — Bộ dữ liệu được sử dụng để đánh giá.
  • processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin hoặc ProcessorMixin, tùy chọn) — Lớp xử lý được dùng để xử lý dữ liệu. Nếu được cung cấp, lớp này sẽ được dùng để tự động xử lý các đầu vào cho mô hình, và nó sẽ được lưu cùng với mô hình để dễ dàng chạy lại một phiên huấn luyện bị gián đoạn hoặc tái sử dụng mô hình đã tinh chỉnh.
  • model_init (Callable[[], transformers.PreTrainedModel]) — Bộ khởi tạo mô hình được sử dụng cho quá trình huấn luyện. Nếu không chỉ định (None), bộ khởi tạo mô hình mặc định sẽ được sử dụng.
  • callbacks (list[transformers.TrainerCallback]) — Các callback được sử dụng cho quá trình huấn luyện.
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Optimizer và scheduler được sử dụng cho quá trình huấn luyện.
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Hàm được sử dụng để tiền xử lý logits trước khi tính toán các chỉ số.
  • peft_config (PeftConfig, tuỳ chọn) — Cấu hình PEFT để sử dụng cho việc huấn luyện. Nếu bạn truyền vào một cấu hình PEFT, mô hình sẽ được bọc trong một mô hình PEFT.
  • compute_metrics (Callable[[EvalPrediction], dict], tùy chọn) — Hàm được sử dụng để tính toán các chỉ số. Phải nhận một EvalPrediction và trả về một từ điển ánh xạ từ chuỗi sang giá trị chỉ số.

Khởi tạo ORPOTrainer.

train

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Tham số

  • resume_from_checkpoint (str hoặc bool, tùy chọn) — Nếu là str, đường dẫn cục bộ đến một checkpoint đã lưu bởi một phiên Trainer trước đó. Nếu là bool và bằng True, tải checkpoint cuối cùng trong args.output_dir do một phiên Trainer trước đó lưu lại. Nếu có, quá trình huấn luyện sẽ tiếp tục từ trạng thái model/optimizer/scheduler được tải ở đây.
  • trial (optuna.Trial hoặc dict[str, Any], tùy chọn) — Lần chạy thử nghiệm hoặc từ điển siêu tham số cho việc tìm kiếm siêu tham số.
  • ignore_keys_for_eval (list[str], tùy chọn) — Một danh sách các khóa trong đầu ra của mô hình của bạn (nếu đó là một từ điển) cần được bỏ qua khi thu thập các dự đoán để đánh giá trong quá trình huấn luyện.

Trả về

~trainer_utils.TrainOutput

Đối tượng chứa số bước toàn cục, tổn thất huấn luyện và các chỉ số.

Điểm vào chính cho quá trình huấn luyện.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().

Chỉ lưu từ tiến trình chính.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Tham số

  • commit_message (str, tùy chọn, mặc định là "End of training") — Thông điệp để commit khi đẩy lên.
  • blocking (bool, tùy chọn, mặc định là True) — Xác định xem hàm có chỉ trả về khi git push đã hoàn tất hay không.
  • token (str, tùy chọn, mặc định là None) — Token có quyền ghi để ghi đè lên các args gốc của Trainer.
  • revision (str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”.
  • private (bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định là args.hub_private_repo. Không có tác dụng nếu kho đã tồn tại.
  • kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến ~Trainer.create_model_card.

Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.

ORPOConfig

lớp trl.experimental.orpo.ORPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1disable_dropout: bool = Truepadding_value: int | None = Nonegenerate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )

Tham số

  • max_length (int hoặc None, tùy chọn, mặc định là 1024) — Độ dài tối đa của các chuỗi (prompt + completion) trong batch. Tham số này là bắt buộc nếu bạn muốn sử dụng data collator mặc định.
  • max_completion_length (int, tùy chọn) — Độ dài tối đa của phần hoàn thành. Tham số này là bắt buộc nếu bạn muốn sử dụng data collator mặc định và mô hình của bạn là encoder-decoder.
  • beta (float, tuỳ chọn, mặc định là 0.1) — Tham số kiểm soát trọng số tương đối của loss trong loss ORPO. Trong bài báo, nó được ký hiệu là λ. Trong mã nguồn, nó được ký hiệu là alpha.
  • disable_dropout (bool, tùy chọn, mặc định là True) — Có vô hiệu hóa dropout trong mô hình hay không.
  • padding_value (int, tùy chọn) — Giá trị padding cần sử dụng. Nếu là None, giá trị padding của tokenizer sẽ được dùng.
  • generate_during_eval (bool, tùy chọn, mặc định là False) — Nếu True, sẽ tạo và ghi log các câu trả lời hoàn chỉnh từ mô hình vào W&B hoặc Comet trong quá trình đánh giá.
  • is_encoder_decoder (bool, tùy chọn) — Khi sử dụng đối số model_init (callable) để khởi tạo model thay vì đối số model, bạn cần chỉ định xem model được trả về bởi callable có phải là model encoder-decoder hay không.
  • model_init_kwargs (dict[str, Any], tùy chọn) — Các đối số dạng từ khóa để truyền cho AutoModelForCausalLM.from_pretrained khi khởi tạo mô hình từ một chuỗi. Giá trị revision cũng được sử dụng khi nạp lớp xử lý.
  • trust_remote_code (bool, tùy chọn, mặc định là False) — Có cho phép tải các mô hình có kèm theo mã Python tùy chỉnh từ Hub hay không. Được chuyển tiếp đến from_pretrained.
  • dataset_num_proc (int, tùy chọn) — Số lượng tiến trình được sử dụng để xử lý tập dữ liệu.

Lớp cấu hình cho experimental.orpo.ORPOTrainer.

Lớp này chỉ bao gồm các tham số đặc thù cho việc huấn luyện ORPO. Để xem danh sách đầy đủ các đối số huấn luyện, hãy tham khảo tài liệu TrainingArguments. Lưu ý rằng các giá trị mặc định trong lớp này có thể khác với các giá trị trong TrainingArguments.

Sử dụng HfArgumentParser, chúng ta có thể chuyển lớp này thành các đối số argparse có thể được chỉ định trên dòng lệnh.

Các tham số này có giá trị mặc định khác với TrainingArguments:

  • logging_steps: Mặc định là 10 thay vì 500.
  • gradient_checkpointing: Mặc định là True thay vì False.
  • bf16: Mặc định là True nếu fp16 không được đặt, thay vì False.
  • learning_rate: Mặc định là 1e-6 thay vì 5e-5.
Update on GitHub