Diffusers documentation
Ovis-Image
Ovis-Image
Ovis-Image هو نموذج لتوليد الصور من النص بحجم 7B محسّن خصيصًا لعرض النصوص عالية الجودة، مصمم للعمل بكفاءة تحت قيود حسابية صارمة.
التقرير التقني الخاص بـ Ovis-Image من مجموعة Alibaba، بقلم Guo-Hua Wang وLiangfu Cao وTianyu Cui وMinghao Fu وXiaohao Chen وPengxin Zhan وJianshan Zhao وLan Li وBowen Fu وJiaqi Liu وQing-Guo Chen.
ملخص الورقة البحثية هو:
نقدّم Ovis-Image، وهو نموذج لتوليد الصور من النص بحجم 7B محسّن خصيصًا لعرض النص عالي الجودة، ومصمم للعمل بكفاءة تحت قيود حسابية صارمة. مبنيًا على إطار Ovis-U1 السابق الخاص بنا، يدمج Ovis-Image مُفكّكًا بصريًا يعتمد على الانتشار مع العمود الفقري متعدد الوسائط الأقوى Ovis 2.5، مستفيدًا من خط تدريب يركّز على النص يجمع بين التدريب المسبق على نطاق واسع وتحسينات ما بعد التدريب المصممة بعناية. وعلى الرغم من بنيته المدمجة، يحقق Ovis-Image أداءً في عرض النص يضاهي أداء النماذج المفتوحة الأكبر بكثير مثل Qwen-Image، ويقترب من الأنظمة المغلقة المصدر مثل Seedream وGPT4o. والأهم من ذلك، يبقى النموذج قابلًا للنشر على وحدة معالجة رسومية واحدة متطورة ذات ذاكرة معتدلة، مما يضيق الفجوة بين مستوى عرض النص الرائد والنشر العملي. تشير نتائجنا إلى أن دمج عمود فقري متعدد الوسائط قوي مع وصف تدريب مصمم بعناية ويركز على النص يكفي لتحقيق عرض ثنائي اللغة موثوق للنص دون اللجوء إلى نماذج ضخمة أو مملوكة.
أبرز النقاط:
- عرض قوي للنصوص بمقياس مدمج قدره 7B: نموذج Ovis-Image هو نموذج لتوليد الصور من النصوص بحجم 7B، ويقدّم جودة عرض للنصوص مماثلة لجودة الأنظمة الأكبر بكثير من فئة 20B مثل Qwen-Image، ويتنافس مع النماذج المغلقة الرائدة مثل GPT4o في السيناريوهات التي تركز على النصوص، مع بقاء حجمه صغيرًا بما يكفي للتشغيل على أجهزة متاحة على نطاق واسع.
- دقة عالية في الأوامر التي تعتمد على النصوص والحساسة للتخطيط: يتفوق النموذج في الأوامر التي تتطلب توافقًا دقيقًا بين المحتوى اللغوي والخطوط المُصغَّرة (مثل الملصقات، واللوحات الإعلانية، والشعارات، والنماذج الأولية للواجهات، والمخططات المعلوماتية)، حيث ينتج نصوصًا واضحة القراءة، ومكتوبةً بإملاء صحيح، ومتسقةً دلاليًا عبر خطوط وأحجام ونسب أبعاد متنوعة دون المساس بالجودة البصرية الإجمالية.
- الكفاءة وقابلية النشر: بفضل ميزانية 7B من المعاملات ومعماريته المبسطة، يتناسب نموذج Ovis-Image مع وحدة معالجة رسومية واحدة من الطراز العالي ذاكرة معتدلة، ويدعم الاستخدام التفاعلي منخفض الكمون، ويتوسع ليخدم الإنتاج على دفعات، مما يجلب عرض نصوص قريب من مستوى الطليعة إلى التطبيقات التي لا يكون فيها استخدام نماذج بمعايير تصل إلى عشرات المليارات عملياً.
تمت مساهمة خط المعالجة هذا من فريق Ovis-Image. يمكن العثور على قاعدة الكود الأصلية هنا.
النماذج المتاحة:
| النموذج | نوع البيانات الموصى به |
|---|---|
AIDC-AI/Ovis-Image-7B | torch.bfloat16 |
راجع هذه المجموعة لمزيد من المعلومات.
OvisImagePipeline
فئة diffusers.OvisImagePipeline
< source >( scheduler: FlowMatchEulerDiscreteSchedulervae: AutoencoderKLtext_encoder: Qwen3Modeltokenizer: Qwen2Tokenizertransformer: OvisImageTransformer2DModel )
المعاملات
- transformer (OvisImageTransformer2DModel) — بنية Transformer الشرطية (MMDiT) لإزالة الضوضاء من كامنات الصورة المُرمّزة.
- scheduler (FlowMatchEulerDiscreteScheduler) —
جدول زمني يُستخدم بالاقتران مع
transformerلإزالة الضوضاء من كائنات الصورة المُرمّزة. - vae (AutoencoderKL) — نموذج الترميز التبايني التلقائي (VAE) لتشفير وفك تشفير الصور إلى تمثيلات كامنة ومنها.
- text_encoder (
Qwen3Model) — مشفّر النص من الفئة Qwen3Model. - tokenizer (
Qwen2TokenizerFast) — مُقسِّم من الفئة Qwen2TokenizerFast.
خط أنابيب Ovis-Image لتوليد الصور من النص.
مرجع: https://github.com/AIDC-AI/Ovis-Image
__call__
< source >( prompt: str | list[str] = Nonenegative_prompt: str | list[str] = ''guidance_scale: float = 5.0height: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 50sigmas: list[float] | None = Nonenum_images_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.FloatTensor] = Noneprompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Truejoint_attention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 256 ) → OvisImagePipelineOutput or tuple
المعاملات
- prompt (
strأوlist[str]، اختياري) — الموجّه أو الموجّهات التي توجّه توليد الصورة. إذا لم يُعرَّف، يجب تمريرprompt_embedsبدلاً من ذلك. - negative_prompt (
strأوlist[str]، اختياري) — الموجّه أو الموجّهات التي لا ينبغي استخدامها لتوجيه توليد الصورة. إذا لم يُعرَّف، يجب تمريرnegative_prompt_embedsبدلاً من ذلك. يتم تجاهله عند عدم استخدام التوجيه (أي يتم تجاهله إذا لم يكنguidance_scaleأكبر من1). - guidance_scale (
float، اختياري، القيمة الافتراضية 1.0) — يتم تفعيل التوجيه الحر من التصنيف (مقياس التوجيه) الحقيقي عندما يكونguidance_scale> 1 و يتم توفيرnegative_prompt. - height (
int، اختياري، القيمة الافتراضية هي self.unet.config.sample_size * self.vae_scale_factor) — ارتفاع الصورة المولّدة بالبكسلات. يتم ضبطه على 1024 افتراضيًا للحصول على أفضل النتائج. - width (
int، اختياري، القيمة الافتراضية هي self.unet.config.sample_size * self.vae_scale_factor) — عرض الصورة المولدة بالبكسلات. يتم ضبطه على 1024 افتراضيًا للحصول على أفضل النتائج. - num_inference_steps (
int، اختياري، القيمة الافتراضية 50) — عدد خطوات إزالة الضوضاء. تؤدي زيادة عدد خطوات إزالة الضوضاء عادةً إلى صورة بجودة أعلى على حساب بطء الاستدلال. - sigmas (
list[float]، اختياري) — قيم sigmas مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معاملsigmasفي طريقةset_timestepsالخاصة بهم. إذا لم يُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمريرnum_inference_steps. - num_images_per_prompt (
int، اختياري، القيمة الافتراضية 1) — عدد الصور التي سيتم توليدها لكل موجه. - generator (
torch.Generatorأوlist[torch.Generator]، اختياري) — مولّد واحد أو قائمة من مولّدات torch لجعل التوليد حتميًا. - latents (
torch.FloatTensor، اختياري) — كائنات latents ضجيجية مُولّدة مسبقًا، مُستخرجة من توزيع غاوسي، تُستخدم كمدخلات لتوليد الصور. يمكن استخدامها لتعديل نفس التوليد باستخدام أوامر مختلفة. إذا لم تُقدَّم، سيتم توليد كائن latents عن طريق الاستخراج باستخدام مولّد الأرقام العشوائيةgeneratorالمُقدَّم. - prompt_embeds (
torch.FloatTensor, اختياري) — تضمينات نصية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الموجه. إذا لم تُقدَّم، فسيتم توليد تضمينات النص من معامل الإدخالprompt. - negative_prompt_embeds (
torch.FloatTensor، اختياري) — تضمينات نصية سلبية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الموجه. إذا لم تُقدَّم، فسيتم توليد negative_prompt_embeds من معامل الإدخالnegative_prompt. - output_type (
str، اختياري، القيمة الافتراضية"pil") — صيغة مخرجات توليد الصورة. اختر بين PIL:PIL.Image.Imageأوnp.array. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع~pipelines.flux.FluxPipelineOutputبدلاً من tuple عادي. - joint_attention_kwargs (
dict، اختياري) — قاموس kwargs يُمرَّر إلىAttentionProcessorكما هو معرَّف تحتself.processorفي diffusers.models.attention_processor إذا تمَّ تحديده. - callback_on_step_end (
Callable، اختياري) — دالة تُستدعى في نهاية كل خطوة إزالة ضوضاء أثناء الاستدلال. تُستدعى الدالة بالحجج التالية:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). ستتضمنcallback_kwargsقائمة بجميع المصفوفات كما حددتهاcallback_on_step_end_tensor_inputs. - callback_on_step_end_tensor_inputs (
List, اختياري) — قائمة مدخلات المصفوفات (tensors) لدالةcallback_on_step_end. سيتم تمرير المصفوفات المحددة في القائمة كحجةcallback_kwargs. لن تتمكن من تضمين سوى المتغيرات المدرجة في خاصية._callback_tensor_inputsلفئة خط الأنابيب (pipeline) الخاص بك. - max_sequence_length (
intالافتراضي 512) — أقصى طول تسلسل يُستخدم معprompt.
يعيد
OvisImagePipelineOutput أو tuple
OvisImagePipelineOutput إذا كان return_dict صحيحًا، وإلا فسيكون tuple. عند إرجاع tuple، يكون العنصر الأول قائمة تحتوي على الصور المولّدة.
الدالة التي تُستدعى عند استدعاء خط الأنابيب للتوليد.
أمثلة:
>>> import torch
>>> from diffusers import OvisImagePipeline
>>> pipe = OvisImagePipeline.from_pretrained("AIDC-AI/Ovis-Image-7B", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = 'A creative 3D artistic render where the text "OVIS-IMAGE" is written in a bold, expressive handwritten brush style using thick, wet oil paint. The paint is a mix of vibrant rainbow colors (red, blue, yellow) swirling together like toothpaste or impasto art. You can see the ridges of the brush bristles and the glossy, wet texture of the paint. The background is a clean artist's canvas. Dynamic lighting creates soft shadows behind the floating paint strokes. Colorful, expressive, tactile texture, 4k detail.'
>>> image = pipe(prompt, negative_prompt="", num_inference_steps=50, guidance_scale=5.0).images[0]
>>> image.save("ovis_image.png")encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truedevice: typing.Optional[torch.device] = Nonenum_images_per_prompt: int = 1max_sequence_length: int = 256prompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = None )
المعاملات
- prompt (
strأوlist[str]، اختياري) — الموجّه الذي سيتم ترميزه - negative_prompt (
strأوlist[str]، اختياري) — الموجّه أو الموجّهات التي لا ينبغي استخدامها لتوجيه توليد الصورة. يُستخدم فقط عندما يكونdo_classifier_free_guidanceهوTrue. إذا لم يُعرَّف، فسيتم استخدام سلسلة فارغة. - do_classifier_free_guidance (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم ترميزnegative_promptأيضًا من أجل classifier-free guidance. - device — (
torch.device): جهاز torch - num_images_per_prompt (
int) — عدد الصور التي يجب توليدها لكل موجه - max_sequence_length (
int، اختياري، القيمة الافتراضية 256) — أقصى طول تسلسل يُستخدم لـprompt. - prompt_embeds (
torch.FloatTensor, اختياري) — تضمينات نصية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الموجه. إذا لم تُقدَّم، فسيتم توليد تضمينات النص من معامل الإدخالprompt. - negative_prompt_embeds (
torch.FloatTensor، اختياري) — تضمينات نصية سالبة مُولّدة مسبقًا. إذا لم تُقدَّم، يتم توليدها منnegative_prompt.
OvisImagePipelineOutput
فئة diffusers.pipelines.ovis_image.OvisImagePipelineOutput
< source >( images: list )
فئة الإخراج لخطوط أنابيب Ovis-Image.