Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Um modelo Transformer para dados semelhantes a imagens do Z-Image.

ZImageTransformer2DModel

classe diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: list[torch.Tensor, list[list[torch.Tensor]]]tcap_feats: list[torch.Tensor, list[list[torch.Tensor]]]return_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

Parâmetros

  • x (list de torch.Tensor ou list aninhada de torch.Tensor) — Latentes de entrada. Uma lista plana ao executar no modo padrão, ou uma lista aninhada ao executar no modo omni.
  • t (torch.Tensor) — Usado para indicar o passo de remoção de ruído.
  • cap_feats (list de torch.Tensor ou list aninhada de torch.Tensor) — Embeddings de legenda condicional (embeddings calculados a partir das condições de entrada, como prompts) a serem usados.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.transformer_2d.Transformer2DModelOutput em vez de uma tupla simples.
  • controlnet_block_samples (dict de int para torch.Tensor, opcional) — Um mapeamento de índice de bloco para tensor que, se especificado, é adicionado aos resíduos dos blocos do transformer.
  • siglip_feats (list de list de torch.Tensor, opcional) — Recursos de imagem SigLIP opcionais usados como condicionamento adicional.
  • image_noise_mask (list de list de int, opcional) — Máscaras de ruído por imagem indicando tokens com ruído versus limpos no modo omni.
  • patch_size (int, opcional, padrão 2) — Tamanho do patch espacial usado para aplicar patchify aos latentes de entrada.
  • f_patch_size (int, opcional, padrão 1) — Tamanho do patch temporal usado para aplicar patchify aos latentes de entrada.
  • joint_attention_kwargs (dict, opcional) — Um dicionário de kwargs. Apenas a entrada scale é usada, para escalar as camadas LoRA.

O método forward do ZImageTransformer2DModel.

Fluxo: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: list[torch.Tensor]all_cap_feats: list[torch.Tensor]patch_size: intf_patch_size: int )

Patchify para o modo básico: uma única imagem por item do lote.

patchify_and_embed_omni

< >

( all_x: list[list[torch.Tensor]]all_cap_feats: list[list[torch.Tensor]]all_siglip_feats: list[list[torch.Tensor]]patch_size: intf_patch_size: intimages_noise_mask: list[list[int]] )

Patchify para o modo omni: múltiplas imagens por item do lote com máscaras de ruído.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→