Transformers documentation

torch.compile untuk pelatihan

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

torch.compile untuk pelatihan

torch.compile mengompilasi kode PyTorch menjadi kernel yang digabungkan (fused) agar berjalan lebih cepat. Untuk pelatihan, proses ini menelusuri jalur maju (forward) dan mundur (backward) secara bersamaan, lalu mengompilasinya menjadi kernel yang dioptimalkan. Hal ini mengurangi overhead peluncuran operasi individual serta menggabungkan operasi untuk memangkas penggunaan bandwidth memori.

Setel torch_compile=True di TrainingArguments untuk mengaktifkannya. Pelatihan akan mengompilasi jalur forward dan backward, berbeda dengan inferensi yang hanya mengompilasi jalur forward. Kompilasi terjadi pada langkah pelatihan pertama, sehingga langkah tersebut akan terasa jauh lebih lambat dibandingkan langkah-langkah berikutnya.

from transformers import TrainingArguments

args = TrainingArguments(
    ...,
    torch_compile=True,
    torch_compile_backend="inductor",
    torch_compile_mode="reduce-overhead",
)

Backend

Jika tidak ada backend yang ditentukan, TrainingArguments akan memilih satu berdasarkan perangkat keras Anda. Pada sebagian besar CPU dan GPU, default-nya adalah inductor, yang dikompilasi menjadi kernel Triton dengan AOTAutograd dan cocok untuk sebagian besar beban kerja pelatihan. Pada Intel Gaudi (HPU), default-nya adalah hpu_backend. Pada AWS Trainium dan Inferentia (Neuron), default-nya adalah neuron.

Gunakan cudagraphs untuk input dengan bentuk tetap.

Mode Compile

Gunakan tabel di bawah ini untuk membantu memilih mode torch.compile.

modedeskripsi
defaultkeseimbangan waktu kompilasi dan waktu eksekusi
reduce-overheadmengurangi overhead Python/CPU menggunakan CUDA graphs dengan mengorbankan sedikit memori tambahan
max-autotunemenjalankan benchmark pada beberapa implementasi kernel saat kompilasi dan memilih yang tercepat (kompilasi lebih lama)
max-autotune-no-cudagraphssama dengan max-autotune tetapi tanpa CUDA graphs

Langkah selanjutnya

Update on GitHub