Hugging Face's logo

Diffusers documentation

SD3Transformer2D

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SD3Transformer2D

Kelas ini berguna saat hanya memuat bobot ke dalam SD3Transformer2DModel. Jika Anda perlu memuat bobot ke dalam text encoder atau text encoder dan SD3Transformer2DModel, periksa kelas SD3LoraLoaderMixin sebagai gantinya.

Kelas SD3Transformer2DLoadersMixin saat ini hanya memuat bobot IP-Adapter, tetapi akan digunakan di masa depan untuk menyimpan bobot dan memuat LoRA.

Untuk mempelajari lebih lanjut tentang cara memuat bobot LoRA, lihat panduan pemuatan LoRA.

SD3Transformer2DLoadersMixin

kelas diffusers.loaders.SD3Transformer2DLoadersMixin

< >

( )

Muat lapisan IP-Adapters dan LoRA ke dalam [SD3Transformer2DModel].

_load_ip_adapter_weights

< >

( state_dict: dictlow_cpu_mem_usage: bool = True )

Parameter

  • state_dict (Dict) — State dict dengan kunci “ip_adapter”, yang berisi parameter untuk attention processors, dan “image_proj”, yang berisi parameter untuk image projection net.
  • low_cpu_mem_usage (bool, opsional, defaultnya True jika versi torch >= 1.9.0 selain itu False) — Percepat pemuatan model dengan hanya memuat bobot pretrained dan tidak menginisialisasi bobot. Ini juga berusaha untuk tidak menggunakan lebih dari 1x ukuran model di memori CPU (termasuk memori puncak) saat memuat model. Hanya didukung untuk PyTorch >= 1.9.0. Jika Anda menggunakan versi PyTorch yang lebih lama, mengatur argumen ini ke True akan memicu error.

Mengatur prosesor perhatian IP-Adapter, proyeksi gambar, dan memuat state_dict.

Update on GitHub

←UNet PEFT→