Отображение выбросов углерода для вашей модели

Почему полезно рассчитывать углеродный след моей модели?

Обучение моделей машинного обучения часто требует значительных энергозатрат и может приводить к существенным выбросам углерода, как описано в работе Strubell et al.. Поэтому важно отслеживать и сообщать о выбросах моделей, чтобы лучше понимать экологическое воздействие нашей области.

Какую информацию о углеродном следе моей модели следует указать?

Если возможно, вы должны включить информацию о:

• где была обучена модель (с точки зрения географического расположения)
• используемое оборудование — например, GPU, TPU или CPU, и их количество
• тип обучения: предварительное обучение или дообучение
• оценка углеродного следа модели, рассчитанная в реальном времени с помощью пакета Code Carbon или после обучения с использованием ML CO2 Calculator.

Метаданные углеродного следа

Вы можете добавить данные об углеродном следе в метаданные карточки модели (в файле README.md). Структура метаданных должна быть следующей:

---
co2_eq_emissions:
  emissions: number (in grams of CO2)
  source: "source of the information, either directly from AutoTrain, code carbon or from a scientific article documenting the model"
  training_type: "pre-training or fine-tuning"
  geographical_location: "as granular as possible, for instance Quebec, Canada or Brooklyn, NY, USA. To check your compute's electricity grid, you can check out https://app.electricitymap.org."
  hardware_used: "how much compute and what kind, e.g. 8 v100 GPUs"
---

Как рассчитывается углеродный след моей модели? 🌎

Учитывая вычислительное оборудование, расположение, характер использования и время обучения, вы можете оценить, сколько CO₂ было произведено моделью.

Математика здесь довольно простая! ➕

Сначала берётся интенсивность выбросов углерода электросети, используемой для обучения, — это количество CO₂, выделяемое на каждый кВт·ч потреблённой электроэнергии. Интенсивность выбросов зависит от расположения оборудования и структуры энергопотребления в данном регионе: используется ли возобновляемая энергия, например солнечная 🌞, ветровая 🌬️ и гидроэнергия 💧, или невозобновляемая, например уголь ⚫ и природный газ 💨. Чем больше возобновляемой энергии используется для обучения, тем ниже интенсивность выбросов углерода!

Затем с помощью библиотеки pynvml вы измеряете энергопотребление GPU во время обучения.

Наконец, вы умножаете потребление энергии и интенсивность выбросов углерода на время обучения модели, и получаете оценку выбросов CO₂.

Имейте в виду, что это не точное число, так как на результат влияют и другие факторы — например, энергия, расходуемая на отопление и охлаждение дата-центра, — которые увеличивают выбросы углерода. Однако это даст вам общее представление о масштабе выбросов CO₂, которые производит ваша модель!

Чтобы добавить метаданные Carbon Emissions к вашим моделям:

1. Если вы используете AutoTrain, это отслеживается за вас 🔥
2. В противном случае используйте трекер, например Code Carbon, в коде обучения, а затем укажите

co2_eq_emissions: 
  emissions: 1.2345

в метаданных карточки вашей модели, где 1.2345 — это значение выбросов в граммах.

Чтобы узнать больше об углеродном следе Transformers, посмотрите видео, входящее в курс Hugging Face!