Diffusers documentation
JoyImageEditTransformer3DModel
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.42.1).
JoyImageEditTransformer3DModel
يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.
from diffusers import JoyImageEditTransformer3DModel
transformer = JoyImageEditTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Diffusers", subfolder="transformer", dtype=torch.bfloat16)JoyImageEditTransformer3DModel
فئة diffusers.JoyImageEditTransformer3DModel
< source >( patch_size: list = [1, 2, 2]in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 3072num_attention_heads: int = 24text_dim: int = 4096mlp_width_ratio: float = 4.0num_layers: int = 20rope_dim_list: list = [16, 56, 56]rope_type: str = 'rope'theta: int = 256 )
نموذج JoyImage Transformer لتوليد الصور / تحريرها.
بنية DiT ذات تدفّقين مع تضمينات تكييف على طراز WAN وتضمينات مواضع دوّارة مخصّصة.
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensor = Nonereturn_dict: bool = True )
المعاملات
- hidden_states (
torch.Tensorمن الشكل(batch_size, num_channels, num_frames, height, width)أو(batch_size, num_items, num_channels, num_frames, height, width)) — مدخلاتhidden_states. - timestep (
torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء. - encoder_hidden_states (
torch.Tensor، اختياري) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع~models.transformer_2d.Transformer2DModelOutputبدلاً من tuple عادي.
طريقة JoyImageEditTransformer3DModel الأمامية.
Transformer2DModelOutput
فئة diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
المعاملات
- sample (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)أو(batch size, num_vector_embeds - 1, num_latent_pixels)إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخلencoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.
مخرجات Transformer2DModel.