Este modelo se publicó en HF papers el 2021-04-05 y se contribuyó a Hugging Face Transformers el 2022-11-21.

Audio Spectrogram Transformer

Resumen

El modelo Audio Spectrogram Transformer fue propuesto en AST: Audio Spectrogram Transformer por Yuan Gong, Yu-An Chung y James Glass. El Audio Spectrogram Transformer aplica un Vision Transformer al audio, convirtiendo el audio en una imagen (espectrograma). El modelo obtiene resultados de estado del arte para la clasificación de audio.

El resumen del artículo es el siguiente:

En la última década, las redes neuronales convolucionales (CNN) se han adoptado ampliamente como el bloque de construcción principal para los modelos de clasificación de audio de extremo a extremo, que buscan aprender un mapeo directo desde los espectrogramas de audio hasta las etiquetas correspondientes. Para capturar mejor el contexto global de largo alcance, una tendencia reciente es añadir un mecanismo de autoatención sobre la CNN, formando un modelo híbrido CNN-atención. Sin embargo, no está claro si la dependencia de una CNN es necesaria y si las redes neuronales basadas puramente en la atención son suficientes para obtener un buen rendimiento en la clasificación de audio. En este artículo, respondemos a la pregunta introduciendo el Audio Spectrogram Transformer (AST), el primer modelo sin convoluciones y basado puramente en la atención para la clasificación de audio. Evaluamos AST en varios puntos de referencia de clasificación de audio, donde logra nuevos resultados de estado del arte de 0,485 mAP en AudioSet, 95,6 % de precisión en ESC-50 y 98,1 % de precisión en Speech Commands V2.

Este modelo fue aportado por nielsr. El código original se puede encontrar aquí.

Consejos de uso

• Al realizar el ajuste fino del Audio Spectrogram Transformer (AST) en tu propio conjunto de datos, se recomienda cuidar la normalización de la entrada (para asegurarse de que la entrada tenga una media de 0 y una desviación estándar de 0.5). ASTFeatureExtractor se encarga de esto. Ten en cuenta que utiliza la media y la desviación estándar de AudioSet de forma predeterminada. Puedes consultar ast/src/get_norm_stats.py para ver cómo los autores calculan las estadísticas para un conjunto de datos de nivel inferior.
• Tenga en cuenta que el AST requiere una tasa de aprendizaje baja (los autores utilizan una tasa de aprendizaje 10 veces menor en comparación con su modelo CNN propuesto en el artículo PSLA) y converge rápidamente, por lo que busque una tasa de aprendizaje y un programador de tasa de aprendizaje adecuados para su tarea.

Uso de la atención de producto escalar de puntos (SDPA)

PyTorch incluye un operador nativo de atención de producto escalar (SDPA) como parte de torch.nn.functional. Esta función abarca varias implementaciones que pueden aplicarse según las entradas y el hardware en uso. Consulte la documentación oficial o la página de GPU Inference para obtener más información.

SDPA se utiliza de forma predeterminada para torch>=2.1.1 cuando hay una implementación disponible, pero también puede establecer attn_implementation="sdpa" en from_pretrained() para solicitar explícitamente el uso de SDPA.

from transformers import ASTForAudioClassification


model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", device_map="auto")
...

Para obtener las mejores mejoras de velocidad, recomendamos cargar el modelo en media precisión (por ejemplo, torch.float16 o torch.bfloat16).

En un benchmark local (A100-40GB, PyTorch 2.3.0, SO Ubuntu 22.04) con float32 y el modelo MIT/ast-finetuned-audioset-10-10-0.4593, observamos las siguientes aceleraciones durante la inferencia.

Recursos

Una lista de recursos oficiales de Hugging Face y de la comunidad (indicados por 🌎) para ayudarte a empezar con el Audio Spectrogram Transformer.

• Puede encontrar un cuaderno que ilustra la inferencia con AST para la clasificación de audio aquí.
• ASTForAudioClassification es compatible con este cuaderno.
• Véase también: Clasificación de audio.

Si te interesa enviar un recurso para que se incluya aquí, no dudes en abrir una Pull Request y lo revisaremos. Lo ideal es que el recurso demuestre algo nuevo en lugar de duplicar un recurso existente.

ASTConfig

>>> from transformers import ASTConfig, ASTModel

>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()

>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ASTFeatureExtractor

ASTModel

ASTForAudioClassification

>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
...

>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...