Transformers documentation

LLaVA-OneVision

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2024-08-06 dan disumbangkan ke Hugging Face Transformers pada 2024-09-05.

LLaVA-OneVision

Ikhtisar

Model LLaVA-OneVision diusulkan dalam LLaVA-OneVision: Easy Visual Task Transfer oleh Bo Li, Yuanhan Zhang, Dong Guo, Renrui Zhang, Feng Li, Hao Zhang, Kaichen Zhang, Yanwei Li, Ziwei Liu, Chunyuan Li

LLaVA-OneVision adalah Vision-Language Model yang dapat menghasilkan teks berdasarkan satu atau beberapa gambar/video. Model ini terdiri dari SigLIP vision encoder dan Qwen2 language backbone. Gambar diproses dengan teknik anyres-9, di mana gambar dipecah menjadi 9 patch untuk memproses gambar beresolusi tinggi dengan lebih baik dan menangkap sebanyak mungkin detail. Namun, video dipooling menjadi total panjang sekuens 196 token per frame untuk komputasi yang lebih hemat memori. LLaVA-OneVision tersedia dalam tiga ukuran: 0.5B, 7B, dan 72B, serta mencapai kinerja yang luar biasa pada evaluasi benchmark.

Abstrak dari makalah tersebut adalah sebagai berikut:

Kami memperkenalkan LLaVA-OneVision, sebuah keluarga model multimodal besar terbuka (LMM) yang dikembangkan dengan mengonsolidasikan wawasan kami tentang data, model, dan representasi visual dalam seri blog LLaVA-NeXT. Hasil eksperimen kami menunjukkan bahwa LLaVA-OneVision adalah model tunggal pertama yang dapat secara bersamaan mendorong batas kinerja LMM terbuka dalam tiga skenario computer vision yang penting: skenario gambar tunggal, multi-gambar, dan video. Pentingnya, desain LLaVAOneVision memungkinkan transfer learning yang kuat antar modalitas/skenario yang berbeda, menghasilkan kemampuan baru yang muncul. Secara khusus, pemahaman video yang kuat dan kemampuan lintas skenario dibuktikan melalui transfer tugas dari gambar ke video.

LLaVA-OneVision architecture. Taken from the original paper.

Tips:

Kami menyarankan pengguna untuk menggunakan padding_side="left" saat menghitung generasi batched karena menghasilkan akurasi yang lebih baik. Cukup pastikan untuk memanggil processor.tokenizer.padding_side = "left" sebelum melakukan generasi.

Llava-OneVision menggunakan jumlah patch yang berbeda untuk gambar, sehingga harus melakukan padding pada input di dalam kode pemodelan, di samping padding yang dilakukan saat memproses input. Pengaturan default adalah “left-padding” jika model berada dalam mode eval(), selain itu “right-padding”.

Memformat Prompt dengan Template Chat

Setiap checkpoint dilatih dengan format prompt tertentu, tergantung pada backbone model bahasa besar yang mendasarinya. Untuk memastikan format yang benar, gunakan metode apply_chat_template dari processor.

Penting:

Anda harus membuat riwayat percakapan — meneruskan string polos tidak akan berhasil.
Setiap pesan harus berupa kamus dengan kunci "role" dan "content".
"content" harus berupa daftar kamus untuk berbagai modalitas seperti "text" dan "image".

Berikut adalah contoh cara menyusun input Anda. Kita akan menggunakan llava-onevision-qwen2-7b-si-hf dan riwayat percakapan berupa teks dan gambar. Setiap field konten harus berupa daftar dict, sebagai berikut:

from transformers import AutoProcessor


processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-si-hf")

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What’s shown in this image?"},
        ],
    },
    {
        "role": "assistant",
        "content": [{"type": "text", "text": "This image shows a red stop sign."},]
    },
    {

        "role": "user",
        "content": [
            {"type": "text", "text": "Describe the image in more details."},
        ],
    },
]

text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

# Note that the template simply formats your prompt, you still have to tokenize it and obtain pixel values for your images
print(text_prompt)
'<|im_start|>user\n<image>What is shown in this image?<|im_end|>\n<|im_start|>assistant\nPage showing the list of options.<|im_end|>'

🚀 Bonus: Jika Anda menggunakan transformers>=4.49.0, Anda juga dapat memperoleh output vektor dari apply_chat_template. Lihat Contoh Penggunaan di bawah ini untuk detail lebih lanjut tentang cara menggunakannya.

Model ini disumbangkan oleh RaushanTurganbay. Kode aslinya dapat ditemukan di sini.

Contoh penggunaan

Inferensi gambar tunggal

Berikut cara memuat model dan melakukan inferensi dalam presisi setengah (torch.float16):

import torch

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration


processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")
model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    "llava-hf/llava-onevision-qwen2-7b-ov-hf",
    device_map="auto"
)

# prepare image and text prompt, using the appropriate prompt template
url = "https://github.com/haotian-liu/LLaVA/blob/1a91fc274d7c35a9b50b3cb29c4247ae5837ce39/images/llava_v1_5_radar.jpg?raw=true"
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
]
inputs = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
inputs = inputs.to(model.device, torch.float16)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))
'user\n\nWhat is shown in this image?\nassistant\nThe image shows a radar chart, also known as a spider chart or a star chart, which is used to compare multiple quantitative variables. Each axis represents a different variable, and the chart is filled with'

Inferensi multi gambar

LLaVa-OneVision dapat melakukan inferensi dengan beberapa gambar sebagai input, di mana gambar-gambar tersebut dapat berasal dari prompt yang sama atau prompt yang berbeda (dalam inferensi batched). Untuk itu, Anda harus menggunakan checkpoint dengan akhiran “ov”. Untuk kasus multi-gambar, kami merekomendasikan penggunaan daftar gambar bersarang sebagai input. Jika tidak, setiap gambar akan diproses menjadi patch dan mengonsumsi banyak memori. Berikut cara melakukannya:

import torch

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration


# Load the model in half-precision
model = LlavaOnevisionForConditionalGeneration.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")

# Prepare a batch of two prompts, where the first one is a multi-turn conversation and the second is not
conversation_1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://www.ilankelman.org/stopsigns/australia.jpg"},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
    {
        "role": "assistant",
        "content": [
            {"type": "text", "text": "There is a red stop sign in the image."},
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"},
            {"type": "text", "text": "What about this image? How many cats do you see?"},
        ],
    },
]

conversation_2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    [conversation_1, conversation_2],
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    padding=True,
    padding_side="left",
    return_tensors="pt",
).to(model.device, torch.float16)

# Generate
generate_ids = model.generate(**inputs, max_new_tokens=30)
processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
['user\n\nWhat is shown in this image?\nassistant\nThere is a red stop sign in the image.\nuser\n\nWhat about this image? How many cats do you see?\nassistant\ntwo', 'user\n\nWhat is shown in this image?\nassistant\nThe image shows a whimsical scene of a snowman sitting by a campfire. The snowman is anthropomorphized, wearing a hat and']

Inferensi video

LLaVa-OneVision juga dapat melakukan inferensi dengan video sebagai input, di mana bingkai video diperlakukan sebagai beberapa gambar. Berikut cara melakukannya:

from huggingface_hub import hf_hub_download
import torch
from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration

# Load the model in half-precision
model = LlavaOnevisionForConditionalGeneration.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")

video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset")
conversation = [
    {

        "role": "user",
        "content": [
            {"type": "video", "path": video_path},
            {"type": "text", "text": "Why is this video funny?"},
            ],
    },
]

inputs = processor.apply_chat_template(
    conversation,
    num_frames=8
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device, torch.float16)

out = model.generate(**inputs, max_new_tokens=60)
processor.batch_decode(out, skip_special_tokens=True, clean_up_tokenization_spaces=True)
["user\n\nWhy is this video funny?\nassistant\nThe video appears to be humorous because it shows a young child, who is wearing glasses and holding a book, seemingly reading with a serious and focused expression. The child's glasses are a bit oversized for their face, which adds a comical touch, as it's a common trope to see children wearing"]

Optimasi model

Kuantisasi menggunakan bitsandbytes

Model dapat dimuat dalam 8 atau 4 bit, yang sangat mengurangi kebutuhan memori sambil mempertahankan kinerja model asli. Pertama, pastikan untuk menginstal bitsandbytes, pip install bitsandbytes dan pastikan Anda memiliki akses ke GPU/akselerator yang didukung oleh pustaka tersebut.

bitsandbytes sedang direfaktor untuk mendukung beberapa backend di luar CUDA. Saat ini, implementasi ROCm (GPU AMD) dan Intel CPU sudah matang, dengan Intel XPU sedang dalam pengembangan dan dukungan Apple Silicon diperkirakan tersedia pada Q4/Q1. Untuk instruksi instalasi dan pembaruan backend terbaru, kunjungi tautan ini.

Kami menghargai masukan Anda untuk membantu mengidentifikasi bug sebelum rilis penuh! Lihat dokumentasi ini untuk detail dan tautan umpan balik lainnya.

Cukup ubah potongan kode di atas dengan:

from transformers import BitsAndBytesConfig, LlavaOnevisionForConditionalGeneration


# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

model = LlavaOnevisionForConditionalGeneration.from_pretrained(model_id, quantization_config=quantization_config, device_map="auto")

Gunakan Flash-Attention 2 untuk mempercepat generasi lebih lanjut

Pertama, pastikan untuk menginstal flash-attn. Lihat repositori asli Flash Attention untuk informasi pemasangan paket tersebut. Cukup ubah snippet di atas dengan:

from transformers import LlavaOnevisionForConditionalGeneration


model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    model_id,
    use_flash_attention_2=True
).to(0, device_map="auto")

Transformers

LLaVA-OneVision

Ikhtisar

Memformat Prompt dengan Template Chat

Contoh penggunaan

Inferensi gambar tunggal

Inferensi multi gambar

Inferensi video

Optimasi model

Kuantisasi menggunakan bitsandbytes

Gunakan Flash-Attention 2 untuk mempercepat generasi lebih lanjut

LlavaOnevisionConfig

kelas transformers.LlavaOnevisionConfig

LlavaOnevisionProcessor

kelas transformers.LlavaOnevisionProcessor

__call__

LlavaOnevisionImageProcessor

kelas transformers.LlavaOnevisionImageProcessor

praproses

LlavaOnevisionImageProcessorPil

kelas transformers.LlavaOnevisionImageProcessorPil

praproses

LlavaOnevisionVideoProcessor

kelas transformers.LlavaOnevisionVideoProcessor

LlavaOnevisionModel

kelas transformers.LlavaOnevisionModel

forward

get_image_features

get_placeholder_mask

get_video_features

pack_image_features

LlavaOnevisionForConditionalGeneration

kelas transformers.LlavaOnevisionForConditionalGeneration

forward

get_image_features

get_video_features

call