Menampilkan emisi karbon untuk model Anda

Mengapa menghitung emisi karbon model saya bermanfaat?

Pelatihan model ML sering kali membutuhkan energi besar dan dapat menghasilkan jejak karbon yang signifikan, sebagaimana dijelaskan oleh Strubell et al.. Oleh karena itu, penting untuk menghitung dan melaporkan emisi model untuk mendapatkan gambaran yang lebih baik tentang dampak lingkungan di bidang kita.

Informasi apa yang harus saya sertakan mengenai jejak karbon model saya?

Jika memungkinkan, Anda harus menyertakan informasi tentang:

• di mana model dilatih (dalam hal lokasi)
• perangkat keras yang digunakan — misalnya GPU, TPU, atau CPU, dan berapa jumlahnya
• jenis pelatihan: pre-training atau fine-tuning
• jejak karbon yang diperkirakan dari model, dihitung secara real-time dengan paket Code Carbon atau setelah pelatihan menggunakan ML CO2 Calculator.

Metadata jejak karbon

Anda dapat menambahkan data jejak karbon ke metadata kartu model (di file README.md). Struktur metadata harusnya:

---
co2_eq_emissions:
  emissions: number (in grams of CO2)
  source: "source of the information, either directly from AutoTrain, code carbon or from a scientific article documenting the model"
  training_type: "pre-training or fine-tuning"
  geographical_location: "as granular as possible, for instance Quebec, Canada or Brooklyn, NY, USA. To check your compute's electricity grid, you can check out https://app.electricitymap.org."
  hardware_used: "how much compute and what kind, e.g. 8 v100 GPUs"
---

Bagaimana jejak karbon model saya dihitung? 🌎

Dengan mempertimbangkan perangkat keras komputasi, lokasi, penggunaan, dan waktu pelatihan, Anda dapat memperkirakan berapa banyak CO₂ yang dihasilkan oleh model.

Matematikanya cukup sederhana! ➕

Pertama, Anda mengambil intensitas karbon dari jaringan listrik yang digunakan untuk pelatihan — ini adalah berapa banyak CO₂ yang dihasilkan per KwH listrik yang digunakan. Intensitas karbon bergantung pada lokasi perangkat keras dan campuran energi yang digunakan di lokasi tersebut — apakah itu energi terbarukan seperti surya 🌞, angin 🌬️, dan hidro 💧, atau energi tak terbarukan seperti batu bara ⚫ dan gas alam 💨. Semakin banyak energi terbarukan yang digunakan untuk pelatihan, semakin rendah intensitas karbonnya!

Lalu, Anda mengambil konsumsi daya GPU selama pelatihan menggunakan pustaka pynvml.

Terakhir, Anda mengalikan konsumsi daya dan intensitas karbon dengan waktu pelatihan model, dan Anda memiliki estimasi emisi CO₂.

Perlu diingat bahwa ini bukan angka yang persis karena faktor lain turut berperan — seperti energi yang digunakan untuk pemanasan dan pendinginan pusat data — yang akan meningkatkan emisi karbon. Namun, ini akan memberikan gambaran yang baik tentang skala emisi CO₂ yang dihasilkan oleh model Anda!

Untuk menambahkan metadata Carbon Emissions ke model Anda:

1. Jika Anda menggunakan AutoTrain, hal ini dilacak untuk Anda 🔥
2. Jika tidak, gunakan pelacak seperti Code Carbon di kode pelatihan Anda, lalu tentukan

co2_eq_emissions: 
  emissions: 1.2345

di metadata kartu model Anda, di mana 1.2345 adalah nilai emisi dalam gram.

Untuk mempelajari lebih lanjut tentang jejak karbon Transformers, lihat video ini, bagian dari Hugging Face Course!