Transformers documentation
Ses-metinden-metne
Ses-metinden-metne
Ses-metinden-metne modeller, hem ses hem de metni girdi olarak kabul eder ve çıktı olarak metin üretir. Ses anlama ile dil üretimini birleştirerek, sesli soru-cevap (ör. “Bu klipte ne söyleniyor?”), sesli akıl yürütme (ör. “Konuşmacı hangi duyguyu yansıtıyor?”) ve sözlü diyalog anlama gibi görevleri mümkün kılar. Sadece konuşmayı metne dönüştüren geleneksel otomatik konuşma tanıma (ASR) modellerinin aksine, ses-metinden-metne modeller ses içeriği hakkında akıl yürütebilir, karmaşık talimatları izleyebilir ve duyduklarına dayalı bağlamsal yanıtlar üretebilir.
Aşağıdaki örnek, bir model ve işlemcinin nasıl yükleneceğini, bir ses dosyasının metin istemcisiyle birlikte nasıl geçirileceğini ve bir yanıtın nasıl oluşturulacağını göstermektedir. Bu durumda, modelden bir konuşma kaydının transkripsiyonunu yapmasını istiyoruz.
from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor
model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")
conversation = [
{
"role": "user",
"content": [
{"type": "text", "text": "Transcribe the input speech."},
{"type": "audio", "path": "https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/WhDJDIviAOg_120_10.mp3"},
],
}
]
inputs = processor.apply_chat_template(
conversation,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=500)
decoded_outputs = processor.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(decoded_outputs)
## ["The transcription of the audio is 'summer follows spring the days grow longer and the nights are warm'."]Bu kılavuz size şunları gösterecektir:
- LoRA kullanarak AudioCaps veri setinde ses açıklama (audio captioning) için Audio Flamingo 3 modelini ince ayarlayın.
- İnce ayarladığınız modeli çıkarım için kullanın.
Bu görevle uyumlu tüm mimarileri ve denetim noktalarını görmek için görev sayfasını kontrol etmenizi öneririz.
Başlamadan önce, gerekli tüm kütüphanelerin yüklendiğinden emin olun:
pip install transformers datasets peft accelerate
Modelinizi yükleyip toplulukla paylaşabilmeniz için Hugging Face hesabınıza giriş yapmanızı öneririz. İstendiğinde giriş yapmak için token'ınızı girin:
>>> from huggingface_hub import notebook_login
>>> notebook_login()AudioCaps veri setini yükle
AudioCaps veri setini 🤗 Datasets kütüphanesinden akış (streaming) modunda yükleyerek başlayın. Bu veri seti, betimleyici altyazılara sahip ses klipleri içerir ve ses betimleme görevleri için idealdir.
>>> from datasets import load_dataset, Audio
>>> dataset = load_dataset("OpenSound/AudioCaps", split="train", streaming=True)Audio Flamingo'nun Whisper özellik çıkarıcısının gerektirdiği 16 kHz'ye ses sütununu dönüştürün:
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))Akışkan veri kümeleri için veri kümesini .take() ve .skip() kullanarak eğitim ve test kümelerine ayırın:
>>> train_dataset = dataset.take(1000)
>>> eval_dataset = dataset.skip(1000).take(100)Bir örneğe göz atın:
>>> next(iter(train_dataset))
{'audiocap_id': 91139, 'youtube_id': 'r1nicOVtvkQ', 'start_time': 130, 'caption': 'A woman talks nearby as water pours', 'audio_length': 480000, 'audio': <datasets.features._torchcodec.AudioDecoder object at ...>}
Veri seti şunları içerir:
audio: ses dalgasıcaption: ses için açıklayıcı metin altyazısı
Ön işleme
Hem ses hem de metin girdilerini işlemek için Audio Flamingo işleyicisini yükleyin:
>>> from transformers import AutoProcessor
>>> processor = AutoProcessor.from_pretrained("nvidia/audio-flamingo-3-hf")Audio Flamingo'nun beklediği formata dönüştürmek için ses-metin çiftlerini işleyen bir veri toplayıcı (data collator) oluşturun. Toplayıcı, doğrudan ses dizileriyle sohbet şablonu (chat template) formatını kullanır:
>>> class AudioFlamingo3DataCollator:
... """Data collator for Audio Flamingo 3 audio captioning training."""
...
... def __init__(self, processor):
... self.processor = processor
...
... def __call__(self, features):
... conversations = []
...
... for feature in features:
... # Build conversation format for Audio Flamingo
... # Audio is passed directly as an array, no base64 encoding needed
... sample = [
... {
... "role": "user",
... "content": [
... {"type": "text", "text": "Describe the audio."},
... {"type": "audio", "audio": feature["audio"].get_all_samples().data[0].numpy()},
... ],
... },
... {
... "role": "assistant",
... "content": [{"type": "text", "text": feature["caption"]}],
... }
... ]
... conversations.append(sample)
...
... # Apply chat template and format labels for training
... return self.processor.apply_chat_template(
... conversations,
... tokenize=True,
... add_generation_prompt=False,
... return_dict=True,
... output_labels=True, # Automatically creates labels for training
... )Veri toplayıcısını (data collator) örnekleyin:
>>> data_collator = AudioFlamingo3DataCollator(processor)Eğit
Trainer ile bir modeli ince ayar yapma konusunda deneyiminiz yoksa, temel öğreticiyi burada inceleyebilirsiniz!
Audio Flamingo modelini yükleyin. Verimli bellek kullanımı için bfloat16 hassasiyetini ve device_map="auto" parametresini kullanıyoruz:
>>> from transformers import AudioFlamingo3ForConditionalGeneration
>>> import torch
>>> model = AudioFlamingo3ForConditionalGeneration.from_pretrained(
... "nvidia/audio-flamingo-3-hf",
... torch_dtype=torch.bfloat16,
... device_map="auto",
... )LoRA'yı yapılandır
LoRA (Low-Rank Adaptation), yalnızca küçük sayıda ek parametrenin eğitilmesini sağlayarak verimli ince ayar imkânı sunar. LoRA'yı dil modelinin dikkat ve ileri beslemeli katmanlarını hedefleyecek şekilde yapılandırın:
>>> from peft import LoraConfig, get_peft_model
>>> lora_config = LoraConfig(
... r=16, # LoRA rank
... lora_alpha=32, # LoRA scaling factor
... target_modules=[
... # Language model attention
... "q_proj",
... "k_proj",
... "v_proj",
... "o_proj",
... # Feed-forward layers
... "gate_proj",
... "up_proj",
... "down_proj",
... ],
... lora_dropout=0.05,
... bias="none",
... task_type="CAUSAL_LM",
... )
>>> model = get_peft_model(model, lora_config)
>>> model.print_trainable_parameters()
trainable params: 44,302,336 || all params: 8,311,517,696 || trainable%: 0.5330
LoRA, tam modeli güncellemek yerine yalnızca küçük bir sayıda adaptör parametresini güncelleyerek bellek kullanımını ve eğitim süresini önemli ölçüde azaltır. Bu yapılandırma, dil modelinin dikkat ve ileri beslemeli katmanlarını hedeflerken ses kodlayıcıyı dondurulmuş tutar; bu da tek bir GPU üzerinde ince ayar yapılmasını mümkün kılar.
Eğitim kurulumu
Eğitim hiperparametrelerini TrainingArguments içinde tanımlayın. Akışkan bir veri kümesi kullandığımız için epoch yerine max_steps kullandığımıza dikkat edin:
>>> from transformers import TrainingArguments, Trainer
>>> training_args = TrainingArguments(
... output_dir="audio-flamingo-3-hf-lora-finetuned",
... per_device_train_batch_size=4,
... per_device_eval_batch_size=4,
... gradient_accumulation_steps=4,
... learning_rate=1e-4,
... max_steps=500, # Use max_steps with streaming datasets
... bf16=True,
... logging_steps=10,
... eval_steps=100,
... save_steps=250,
... save_total_limit=2, # Keep only the latest 2 checkpoints
... save_only_model=True, # Skip saving optimizer state to save disk space
... eval_strategy="steps",
... save_strategy="steps",
... remove_unused_columns=False,
... dataloader_num_workers=0, # Must be 0 for streaming datasets
... gradient_checkpointing=True,
... report_to="none",
... )Eğitim argümanlarını, model, veri kümeleri ve veri toplayıcıyla birlikte Trainer'a iletin:
>>> trainer = Trainer(
... model=model,
... args=training_args,
... train_dataset=train_dataset,
... eval_dataset=eval_dataset,
... data_collator=data_collator,
... )
>>> trainer.train()LoRA adaptörünü ve işleyicisini kaydedin:
>>> trainer.save_model()
>>> processor.save_pretrained("audio-flamingo-3-hf-lora-finetuned")
['audio-flamingo-3-hf-lora-finetuned/processor_config.json']
Eğitim tamamlandıktan sonra modelinizi Hub'da paylaşın:
>>> trainer.push_to_hub()Çıkarım
Modeli ince ayar yaptığınıza göre, artık ses altyazılama için kullanabilirsiniz.
İnce ayarlanmış modeli ve işlemciyi yükleyin:
>>> from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor
>>> from peft import PeftModel
>>> import torch
>>> base_model = AudioFlamingo3ForConditionalGeneration.from_pretrained(
... "nvidia/audio-flamingo-3-hf",
... torch_dtype=torch.bfloat16,
... device_map="auto",
... )
>>> model = PeftModel.from_pretrained(base_model, "audio-flamingo-3-hf-lora-finetuned")
>>> processor = AutoProcessor.from_pretrained("audio-flamingo-3-hf-lora-finetuned")Çıkarım için bir ses örneği yükleyin:
>>> from datasets import load_dataset, Audio
>>> dataset = load_dataset("OpenSound/AudioCaps", split="test", streaming=True)
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> sample = next(iter(dataset))
>>> audio = sample["audio"]
>>> audio_array = audio.get_all_samples().data[0].numpy() if hasattr(audio, "get_all_samples") else audio["array"]Girdiyi bir sohbet biçimiyle hazırlayın:
>>> messages = [
... {
... "role": "user",
... "content": [
... {"type": "text", "text": "Describe the audio."},
... {"type": "audio", "audio": audio_array},
... ],
... }
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... add_generation_prompt=True,
... return_dict=True,
... ).to(device=model.device, dtype=model.dtype)Bir yanıt oluşturun:
>>> with torch.no_grad():
... output_ids = model.generate(**inputs, max_new_tokens=100)
>>> # Decode only the generated tokens
>>> input_len = inputs["input_ids"].shape[1]
>>> response = processor.tokenizer.decode(output_ids[0][input_len:], skip_special_tokens=True)
>>> print(response)
## A sewing machine is running while people are talkingPipeline
Hızlı çıkarım için Pipeline API'sini bir any-to-any modeliyle kullanın. Aşağıdaki örnek, ses ve metin girdilerini kabul edip metin üreten Voxtral modelini kullanır. Daha fazla örnek için any-to-any görev kılavuzuna bakın.
from transformers import pipeline
pipe = pipeline("any-to-any", model="mistralai/Voxtral-Mini-3B-2507")
messages = [
{
"role": "user",
"content": [
{
"type": "audio",
"url": "https://huggingface.co/datasets/raushan-testing-hf/audio-test/resolve/main/glass-breaking-151256.mp3",
},
{"type": "text", "text": "What do you hear in this audio?"},
],
},
]
outputs = pipe(text=messages, max_new_tokens=100, return_full_text=False)
print(outputs[0]["generated_text"])Daha Fazla Okuma
- Ses-metin-metne görev sayfası, model türlerini, kullanım senaryolarını ve veri kümelerini kapsar.
- Diğer LoRA yapılandırma seçenekleri ve diğer adaptör yöntemleri için PEFT belgeleri.
- Modelle ilgili ayrıntılar ve yetenekler için Audio Flamingo 3 model kartı.