Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

该模型于 2024-03-20 贡献至 Hugging Face Transformers。

LLaVA-NeXT

LLaVA‑NeXT 在 Llava 的基础上进行了改进，将输入图像的分辨率提高了 4 倍，并支持 3 种宽高比（最高可达 672x672、336x1344、1344x336），以更好地捕捉视觉细节。此外，它还在一个改进的视觉指令微调数据集上进行训练，该数据集涵盖了更多场景和应用，从而提升了 OCR 和常识推理能力。

您可以在 LLaVA-NeXT 集合中找到所有原始的 LLaVA‑NeXT 检查点。

该模型由 nielsr 贡献。

点击右侧边栏中的 LLaVA‑NeXT 模型，以查看更多将 Llava-NeXT 应用于不同多模态任务的示例。

以下示例演示了如何使用 Pipeline 或 AutoModel 类基于图像生成文本。

Pipeline

AutoModel

量化通过以较低精度表示权重来降低大模型的内存负担。有关更多可用的量化后端，请参阅量化概述。

下面的示例使用 bitsandbytes 仅将权重量化为 int4。

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

备注

不同的检查点（Mistral、Vicuna 等）会根据底层 LLM 要求特定的提示格式。请务必使用 apply_chat_template() 以确保格式正确。有关更多详细信息，请参阅 Templates 指南。
在批量生成期间设置 padding_side="left" 以获得更准确的结果。

processor.tokenizer.padding_side = "left"

LLaVA-NeXT 针对图像使用不同数量的 patch，并在建模代码中对输入进行填充，除非填充已在处理阶段完成。如果模型处于 eval() 模式，默认设置为 left-padding，否则为 right-padding。
v4.46 之后的 LLaVA 模型会发出警告，提示需要添加 processor.patch_size = {{patch_size}}、processor.num_additional_image_tokens = {{num_additional_image_tokens}} 和 processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}。如果您拥有该模型检查点，强烈建议为处理器添加这些属性；如果没有，请提交一个 PR。

添加这些属性后，LLaVA 会尝试推断每张图像所需的图像 token 数量，并在文本中扩展相同数量的 <image> token 占位符。通常每张图像约有 500 个 token，因此请确保文本未被截断，否则在合并嵌入时会导致失败。这些属性可以在 model.config.vision_config.patch_size 或 model.config.vision_feature_select_strategy 中找到。

如果视觉主干网络添加了 CLS 标记，则 num_additional_image_tokens 应为 1；如果没有添加任何额外内容，则应为 0。
下面的示例演示了使用多张输入图像进行推理。

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

备注

LlavaNextConfig

类 transformers.LlavaNextConfig

LlavaNextImageProcessor

class transformers.LlavaNextImageProcessor

预处理

LlavaNextImageProcessorPil

class transformers.LlavaNextImageProcessorPil

预处理

LlavaNextProcessor

class transformers.LlavaNextProcessor

__call__

LlavaNextModel

class transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

class transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call