# Классификация аудио

Классификация аудио — как и в случае с текстом — присваивает входным данным метку класса. Единственное отличие состоит в том, что вместо текстовых входных данных используются сырые аудиосигналы. Среди практических применений классификации аудио можно выделить определение намерения говорящего, классификацию языка и даже определение вида животного по его звукам.

В этом руководстве показано, как:

1. Настройте [Wav2Vec2](https://huggingface.co/facebook/wav2vec2-base) на датасете [MInDS-14](https://huggingface.co/datasets/PolyAI/minds14) для классификации намерений говорящего.
2. Используйте дообученную модель для инференса.

Чтобы увидеть все архитектуры и контрольные точки, совместимые с этой задачей, рекомендуем обратиться к [странице задачи](https://huggingface.co/tasks/audio-classification)

Прежде чем начать, убедитесь, что у вас установлены все необходимые библиотеки:

```bash
pip install transformers datasets evaluate soundfile torchcodec
```

Мы рекомендуем вам войти в свой аккаунт Hugging Face, чтобы вы могли загрузить свою модель и поделиться ею с сообществом. При появлении запроса введите токен для входа:

```py
>>> from huggingface_hub import notebook_login

>>> notebook_login()
```

## Загрузка набора данных MInDS-14

Начните с загрузки набора данных MInDS-14 из библиотеки 🤗 Datasets:

```py
>>> from datasets import load_dataset, Audio

>>> minds = load_dataset("PolyAI/minds14", name="en-US", split="train")
```

Разбейте сплит `train` набора данных на более мелкие тренировочную и тестовую выборки с помощью метода [train_test_split](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset.train_test_split). Это даст вам возможность провести эксперименты и убедиться, что всё работает, прежде чем тратить больше времени на полный набор данных.

```py
>>> minds = minds.train_test_split(test_size=0.2)
```

Затем посмотрите на набор данных:

```py
>>> minds
DatasetDict({
    train: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 450
    })
    test: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 113
    })
})
```

Хотя набор данных содержит много полезной информации, например `lang_id` и `english_transcription`, в этом руководстве вы будете сосредоточены на `audio` и `intent_class`. Удалите остальные столбцы с помощью метода [remove_columns](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset.remove_columns):

```py
>>> minds = minds.remove_columns(["path", "transcription", "english_transcription", "lang_id"])
```

Вот пример:

```py
>>> minds["train"][0]
{'audio': {'array': array([ 0.        ,  0.        ,  0.        , ..., -0.00048828,
         -0.00024414, -0.00024414], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
  'sampling_rate': 8000},
 'intent_class': 2}
```

Есть два поля:

- `audio`: одномерный `array` с речевым сигналом, который необходимо вызвать для загрузки и ресемплинга аудиофайла.
- `intent_class`: представляет идентификатор класса намерения говорящего.

Чтобы упростить модели получение имени метки по её идентификатору, создайте словарь, который сопоставляет имя метки с целым числом и наоборот:

```py
>>> labels = minds["train"].features["intent_class"].names
>>> label2id, id2label = dict(), dict()
>>> for i, label in enumerate(labels):
...     label2id[label] = str(i)
...     id2label[str(i)] = label
```

Теперь вы можете преобразовать идентификатор метки в её название:

```py
>>> id2label[str(2)]
'app_error'
```

## Предобработка

Следующий шаг — загрузить экстрактор признаков Wav2Vec2 для обработки аудиосигнала:

```py
>>> from transformers import AutoFeatureExtractor

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
```

Набор данных MInDS-14 имеет частоту дискретизации 8 кГц (эту информацию можно найти в его [карточке набора данных](https://huggingface.co/datasets/PolyAI/minds14)), поэтому для использования предобученной модели Wav2Vec2 необходимо пересэмплировать набор данных до 16 кГц:

```py
>>> minds = minds.cast_column("audio", Audio(sampling_rate=16_000))
>>> minds["train"][0]
{'audio': {'array': array([ 2.2098757e-05,  4.6582241e-05, -2.2803260e-05, ...,
         -2.8419291e-04, -2.3305941e-04, -1.1425107e-04], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
  'sampling_rate': 16000},
 'intent_class': 2}
```

Теперь создайте функцию предобработки, которая:

1. Вызывает колонку `audio` для загрузки и, при необходимости, пересэмплирует аудиофайл.
2. Проверяет, совпадает ли частота дискретизации аудиофайла с частотой дискретизации аудиоданных, на которых была предварительно обучена модель. Эту информацию можно найти в [карточке модели](https://huggingface.co/facebook/wav2vec2-base) Wav2Vec2.
3. Установите максимальную длину входных данных, чтобы обрабатывать более длинные последовательности в батче без их усечения.

```py
>>> def preprocess_function(examples):
...     audio_arrays = [x["array"] for x in examples["audio"]]
...     inputs = feature_extractor(
...         audio_arrays, sampling_rate=feature_extractor.sampling_rate, max_length=16000, truncation=True
...     )
...     return inputs
```

Чтобы применить функцию предобработки ко всему набору данных, используйте функцию [map](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset.map) из 🤗 Datasets. Вы можете ускорить `map`, установив `batched=True`, чтобы обрабатывать несколько элементов набора данных одновременно. Удалите ненужные столбцы и переименуйте `intent_class` в `label`, как того требует модель:

```py
>>> encoded_minds = minds.map(preprocess_function, remove_columns="audio", batched=True)
>>> encoded_minds = encoded_minds.rename_column("intent_class", "label")
```

## Оценка

Включение метрики в процесс обучения часто помогает оценить качество вашей модели. Вы можете быстро загрузить метод оценки с помощью библиотеки 🤗 [Evaluate](https://huggingface.co/docs/evaluate/index). Для этой задачи загрузите метрику [accuracy](https://huggingface.co/spaces/evaluate-metric/accuracy) (ознакомьтесь с [кратким обзором](https://huggingface.co/docs/evaluate/a_quick_tour) 🤗 Evaluate, чтобы узнать больше о том, как загружать и вычислять метрику):

```py
>>> import evaluate

>>> accuracy = evaluate.load("accuracy")
```

Затем создайте функцию, которая передаёт ваши предсказания и метки в [compute](https://huggingface.co/docs/evaluate/v0.4.6/en/package_reference/main_classes#evaluate.EvaluationModule.compute) для вычисления точности:

```py
>>> import numpy as np

>>> def compute_metrics(eval_pred):
...     predictions = np.argmax(eval_pred.predictions, axis=1)
...     return accuracy.compute(predictions=predictions, references=eval_pred.label_ids)
```

Ваша функция `compute_metrics` готова, и вы вернётесь к ней при настройке обучения.

## Обучение

Если вы не знакомы с дообучением модели с помощью [Trainer](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.Trainer), загляните в базовое руководство [здесь](../training)!

Теперь вы готовы приступить к обучению модели! Загрузите Wav2Vec2 с помощью [AutoModelForAudioClassification](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoModelForAudioClassification), указав количество ожидаемых меток и соответствия меток:

```py
>>> from transformers import AutoModelForAudioClassification, TrainingArguments, Trainer

>>> num_labels = len(id2label)
>>> model = AutoModelForAudioClassification.from_pretrained(
...     "facebook/wav2vec2-base", num_labels=num_labels, label2id=label2id, id2label=id2label
... )
```

На этом этапе осталось выполнить только три шага:

1. Определите гиперпараметры обучения в [TrainingArguments](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.TrainingArguments). Единственный обязательный параметр — `output_dir`, который указывает, куда сохранять модель. Вы загрузите эту модель в Hub, установив `push_to_hub=True` (для загрузки модели необходимо войти в аккаунт Hugging Face). В конце каждой эпохи [Trainer](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.Trainer) будет оценивать точность и сохранять контрольную точку обучения.
2. Передайте аргументы обучения в [Trainer](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.Trainer) вместе с моделью, набором данных, токенизатором, data collator и функцией `compute_metrics`.
3. Вызовите [train()](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.Trainer.train), чтобы выполнить дообучение модели.

```py
>>> training_args = TrainingArguments(
...     output_dir="my_awesome_mind_model",
...     eval_strategy="epoch",
...     save_strategy="epoch",
...     learning_rate=3e-5,
...     per_device_train_batch_size=32,
...     gradient_accumulation_steps=4,
...     per_device_eval_batch_size=32,
...     num_train_epochs=10,
...     warmup_steps=0.1,
...     logging_steps=10,
...     load_best_model_at_end=True,
...     metric_for_best_model="accuracy",
...     push_to_hub=True,
...     report_to="trackio",
... )

>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     train_dataset=encoded_minds["train"],
...     eval_dataset=encoded_minds["test"],
...     processing_class=feature_extractor,
...     compute_metrics=compute_metrics,
... )

>>> trainer.train()
```

После завершения обучения используйте метод [push_to_hub()](/docs/transformers/v5.23.0/ru/main_classes/trainer#transformers.Trainer.push_to_hub), чтобы опубликовать модель на Hub и дать всем возможность её использовать:

```py
>>> trainer.push_to_hub()
```

Более подробный пример дообучения модели для классификации аудио можно найти в соответствующем [ноутбуке PyTorch](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/audio_classification.ipynb).

## Вывод

Отлично, теперь, когда вы дообучили модель, вы можете использовать её для инференса!

Загрузите аудиофайл для инференса. При необходимости пересэмплируйте частоту дискретизации аудиофайла, чтобы она соответствовала частоте дискретизации модели.

```py
>>> from datasets import load_dataset, Audio

>>> dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> audio_file = dataset[0]["audio"]["path"]
```

Самый простой способ проверить вашу дообученную модель для инференса — использовать её в [pipeline()](/docs/transformers/v5.23.0/ru/main_classes/pipelines#transformers.pipeline). Создайте экземпляр `pipeline` для классификации аудио с вашей моделью и передайте в него ваш аудиофайл:

```py
>>> from transformers import pipeline

>>> classifier = pipeline("audio-classification", model="stevhliu/my_awesome_minds_model")
>>> classifier(audio_file)
[
    {'score': 0.09766869246959686, 'label': 'cash_deposit'},
    {'score': 0.07998877018690109, 'label': 'app_error'},
    {'score': 0.0781070664525032, 'label': 'joint_account'},
    {'score': 0.07667109370231628, 'label': 'pay_bill'},
    {'score': 0.0755252093076706, 'label': 'balance'}
]
```

Вы также можете вручную воспроизвести результаты `pipeline`, если хотите:

Загрузите экстрактор признаков для предобработки аудиофайла и возврата `input` в виде тензоров PyTorch:

```py
>>> from transformers import AutoFeatureExtractor

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("stevhliu/my_awesome_minds_model")
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
```

Передайте входные данные в модель и получите логиты:

```py
>>> from transformers import AutoModelForAudioClassification

>>> model = AutoModelForAudioClassification.from_pretrained("stevhliu/my_awesome_minds_model")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
```

Получите класс с наибольшей вероятностью и используйте отображение `id2label` модели, чтобы преобразовать его в метку:

```py
>>> import torch

>>> predicted_class_ids = torch.argmax(logits).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
'cash_deposit'
```

