Transformers documentation

Emu3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

نُشر هذا النموذج في أوراق HF في 27 سبتمبر 2024، وأُضيف إلى مكتبة Hugging Face Transformers في 10 يناير 2025.

Emu3

نظرة عامة

قُدِّم نموذج Emu3 في Emu3: Next-Token Prediction is All You Need من قِبل Xinlong Wang وXiaosong Zhang وZhengxiong Luo وQuan Sun وYufeng Cui وJinsheng Wang وFan Zhang وYueze Wang وZhen Li وQiying Yu وYingli Zhao وYulong Ao وXuebin Min وTao Li وBoya Wu وBo Zhao وBowen Zhang وLiangdong Wang وGuang Liu وZheqi He وXi Yang وJingjing Liu وYonghua Lin وTiejun Huang وZhongyuan Wang.

Emu3 هو نموذج لغة كبير متعدد الوسائط يستخدم التكميم المتجهي لتجزئة الصور إلى رموز منفصلة. تُدمج رموز الصور المتجزئة لاحقًا مع معرّفات رموز النص لتوليد الصور والنصوص. كما يمكن للنموذج توليد صور إضافية من خلال التنبؤ بمعرّفات رموز الصور.

المستخلص من الورقة البحثية هو كالتالي:

على الرغم من أن التنبؤ بالرمز التالي يُعد مسارًا واعدًا نحو الذكاء الاصطناعي العام، إلا أنه واجه صعوبات في التميز في المهام متعددة الوسائط، التي لا تزال تتحكم فيها نماذج الانتشار (مثل Stable Diffusion) والمناهج التركيبية (مثل CLIP مع LLMs). في هذه الورقة، نقدم Emu3، وهو مجموعة جديدة من النماذج متعددة الوسائط المتقدمة التي تم تدريبها حصريًا باستخدام التنبؤ بالرمز التالي. من خلال تحويل الصور والنصوص والفيديوهات إلى فضاء منفصل، قمنا بتدريب محول واحد من الصفر على خليط من التسلسلات متعددة الوسائط. يتفوق Emu3 على عدة نماذج محددة للمهام راسخة في كل من مهام التوليد والإدراك، متجاوزًا النماذج الرائدة مثل SDXL وLLaVA-1.6، مع القضاء على الحاجة إلى معماريات الانتشار أو التركيبية. كما يمكن لـ Emu3 توليد فيديو عالي الدقة من خلال التنبؤ بالرمز التالي في تسلسل الفيديو. نبسّط تصاميم النماذج المعقدة متعددة الوسائط من خلال التوجه نحو تركيز واحد: الرموز، مما يفتح إمكانات كبيرة للتوسع أثناء التدريب والاستدلال. تُظهر نتائجنا أن التنبؤ بالرمز التالي مسار واعد لبناء ذكاء عام متعدد الوسائط يتجاوز اللغة. نفتح مصادر التقنيات والنماذج الرئيسية لدعم مزيد من البحث في هذا الاتجاه.

نصائح:

ننصح المستخدمين بإعداد processor.tokenizer.padding_side = "left" قبل التوليد المجمّع، لأن ذلك يؤدي إلى نتائج أكثر دقة.
لاحظ أن النموذج تم تدريبه على تنسيق محدد للبرومبتات الخاصة بالدردشة. استخدم processor.apply_chat_template(my_conversation_dict) لتنسيق البرومبتات الخاصة بك بشكل صحيح.
يحتوي Emu3 على نقطتي تفتيش مختلفتين، واحدة لتوليد الصور وأخرى لتوليد النصوص، لذا تأكد من استخدام نقطة التفتيش الصحيحة عند تحميل النموذج. ولتوليد صورة، يُنصح باستخدام prefix_constraints بحيث تُسحب الرموز المولّدة حصريًا من الرموز المتاحة للصور. راجع الأمثلة أدناه للاستخدام.

تستخدم عملية تنفيذ Emu3 في Transformers رمز صورة خاصًا للإشارة إلى المكان الذي يجب دمج تمثيلات الصورة فيه. هذا الرمز الخاص بالصورة ليس جديدًا، بل يستخدم أحد الرموز المحجوزة: <|extra_0|>. يجب عليك إضافة <image> إلى مطالبتك في المكان الذي ينبغي تضمين الصورة فيه لضمان التوليد الصحيح.

تمت مساهمة هذا النموذج من قِبل RaushanTurganbay. يمكن العثور على الكود الأصلي هنا.

مثال على الاستخدام

استدلال توليد النص

إليك كيفية تحميل النموذج وتنفيذ الاستدلال بدقة نصفية (torch.bfloat16) لتوليد مخرجات نصية من مدخلات نصية أو من مدخلات نصية وصورية:

import requests
from PIL import Image

from transformers import Emu3ForConditionalGeneration, Emu3Processor


processor = Emu3Processor.from_pretrained("BAAI/Emu3-Chat-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Chat-hf", device_map="auto")

# prepare image and text prompt
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
prompt = "What do you see in this image?<image>"

inputs = processor(images=image, text=prompt, return_tensors="pt").to(model.device)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=50)
print(processor.decode(output[0], skip_special_tokens=True))

استدلال توليد الصور

يمكن لـ Emu3 أيضاً توليد الصور من مدخلات نصية. إليك الطريقة:

processor = Emu3Processor.from_pretrained("BAAI/Emu3-Gen-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Gen-hf", device_map="auto", attn_implementation="flash_attention_2")


inputs = processor(
    text=["a portrait of young girl. masterpiece, film grained, best quality.", "a dog running under the rain"],
    padding=True,
    return_tensors="pt",
    return_for_image_generation=True,
)
inputs = inputs.to(device=model.device)

neg_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry."
neg_inputs = processor(text=[neg_prompt] * 2, return_tensors="pt").to(device=model.device)

image_sizes = inputs.pop("image_sizes")
HEIGHT, WIDTH = image_sizes[0]
VISUAL_TOKENS = model.vocabulary_mapping.image_tokens

def prefix_allowed_tokens_fn(batch_id, input_ids):
    height, width = HEIGHT, WIDTH
    visual_tokens = VISUAL_TOKENS
    image_wrapper_token_id = torch.tensor([processor.tokenizer.image_wrapper_token_id], device=model.device)
    eoi_token_id = torch.tensor([processor.tokenizer.eoi_token_id], device=model.device)
    eos_token_id = torch.tensor([processor.tokenizer.eos_token_id], device=model.device)
    pad_token_id = torch.tensor([processor.tokenizer.pad_token_id], device=model.device)
    eof_token_id = torch.tensor([processor.tokenizer.eof_token_id], device=model.device)
    eol_token_id = processor.tokenizer.encode("<|extra_200|>", return_tensors="pt").to(model.device)[0]

    position = torch.nonzero(input_ids == image_wrapper_token_id, as_tuple=True)[0][0]
    offset = input_ids.shape[0] - position
    if offset % (width + 1) == 0:
        return (eol_token_id, )
    elif offset == (width + 1) * height + 1:
        return (eof_token_id, )
    elif offset == (width + 1) * height + 2:
        return (eoi_token_id, )
    elif offset == (width + 1) * height + 3:
        return (eos_token_id, )
    elif offset > (width + 1) * height + 3:
        return (pad_token_id, )
    else:
        return visual_tokens


out = model.generate(
    **inputs,
    max_new_tokens=50_000, # make sure to have enough tokens for one image
    prefix_allowed_tokens_fn=prefix_allowed_tokens_fn,
    return_dict_in_generate=True,
    negative_prompt_ids=neg_inputs.input_ids, # indicate for Classifier-Free Guidance
    negative_prompt_attention_mask=neg_inputs.attention_mask,
)

image = model.decode_image_tokens(out.sequences[:, inputs.input_ids.shape[1]: ], height=HEIGHT, width=WIDTH)
images = processor.postprocess(list(image.float()), return_tensors="PIL.Image.Image").to(model.device) # internally we convert to np but it's not supported in bf16 precision
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Emu3

نظرة عامة

مثال على الاستخدام

استدلال توليد النص

استدلال توليد الصور

Emu3Config

فئة transformers.Emu3Config

Emu3VQVAEConfig

فئة transformers.Emu3VQVAEConfig

Emu3TextConfig

فئة transformers.Emu3TextConfig

Emu3Processor

فئة transformers.Emu3Processor

__call__

Emu3ImageProcessor

فئة transformers.Emu3ImageProcessor

preprocess

Emu3VQVAE

فئة transformers.Emu3VQVAE

forward

Emu3TextModel

فئة transformers.Emu3TextModel

forward

Emu3Model

فئة transformers.Emu3Model

decode_image_tokens

forward

get_image_features

get_image_tokens

get_placeholder_mask

Emu3ForCausalLM

فئة transformers.Emu3ForCausalLM

forward

Emu3ForConditionalGeneration

فئة transformers.Emu3ForConditionalGeneration

forward

call