Diffusers documentation
Genel Bakış
Genel Bakış
Diffusion çıkarımı hesaplama açısından pahalıdır ve genellikle bir DiffusionPipeline nesnesini, sonuçtan memnun kalana kadar birden fazla kez çalıştırırsınız. Bu sayfa, Diffusers'ın ana optimizasyon tekniklerinin genel bir özetini, bu tekniklerin ne işe yaradığını ve ne zaman kullanılması gerektiğini sunar.
Başlangıç yolu
Model tek bir GPU'ya sığıyorsa, bu temel yüklemeyle başlayın. dtype değerini ayarlayın ve hattı bir hızlandırıcıya yerleştirin. Model CPU offload seçeneğine yalnızca bellek kısıtlı olduğunda başvurun. Ayrıca, daha az adım veya daha hızlı bir zamanlayıcı kullanarak çıkarımı hızlandırabilirsiniz.
dtype parametresini atladığınızda Diffusers, bileşenleri float32 olarak yükler. dtype=torch.bfloat16 (bfloat16 desteklenmiyorsa torch.float16) geçirin, ardından pipeline.to("cuda") ile hattı bir hızlandırıcıya yerleştirin.
import torch
from diffusers import DiffusionPipeline
pipeline = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
dtype=torch.bfloat16,
)
pipeline.to("cuda") # or "mps", "xpu"
prompt = """
cinematic film still of a cat sipping a margarita in a pool in Palm Springs, California
highly detailed, high budget hollywood movie, cinemascope, moody, epic, gorgeous, film grain
"""
pipeline(prompt).images[0]Pipeline sığmıyorsa veya bellek kısıtlıysa, her şeyi GPU üzerinde tutmak yerine enable_model_cpu_offload() çağrın. Bu, aktif modeli GPU’ya yerleştirir ve diğer bileşenleri CPU’da tutar.
Model sığdığında atlayın. İhtiyaç duymadığınızda offloading daha yavaştır.
Daha fazla offload seçeneği için Bellek kullanımını azaltma bölümüne bakın.
pipeline = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
dtype=torch.bfloat16,
)
pipeline.enable_model_cpu_offload()Daha az num_inference_steps veya DPMSolverMultistepScheduler gibi daha hızlı bir zamanlayıcı kullanarak gecikmeyi azaltın. Bu genellikle üretimi hızlandırır ancak daha yavaş, yüksek kaliteli bir zamanlayıcıya kıyasla görüntü kalitesini düşürebilir. Daha fazla hızlandırma tekniği için aşağıdaki Optimizasyon teknikleri bölümüne bakın.
import time
from diffusers import DPMSolverMultistepScheduler
pipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)
start_time = time.perf_counter()
image = pipeline(prompt, num_inference_steps=25).images[0]
end_time = time.perf_counter()
print(f"Image generation took {end_time - start_time:.3f} seconds")Optimizasyon teknikleri
Başlangıç yolu yeterli olmadığında bu teknikleri kullanın. Çıkarım işlemi çok yavaşsa torch.compile, önbellekleme veya dikkat (attention) arka uçlarıyla başlayın. Bellek yetersizliği yaşıyorsanız offloading veya kuantizasyonla başlayın.
Daha hızlı çıkarım:
- torch.compile — UNet, transformer veya VAE'yi optimize edilmiş çekirdeklere derler.
- Bölgesel derleme —
torch.compilesoğuk başlatma gecikmesini azaltmak ve derlenmiş artefaktları yeniden kullanmak için tekrarlanan blokları derleyin. - Önbellekleme — Daha fazla hız istediğiniz ve bellek harcayabileceğiniz durumlarda, gürültü azaltma adımları arasında ara sonuçları yeniden kullanın.
- Dikkat arka uçları — Dikkat darboğaz olduğunda, Diffusers dikkat uygulamalarını birleşik bir API üzerinden değiştirin.
- Kernels — Standart PyTorch'un ötesinde donanıma özgü hızlandırmalara ihtiyaç duyduğunuzda, optimize edilmiş Hub hesaplama çekirdeklerini (RMSNorm veya RoPE gibi dikkat ve özel CUDA işlemleri) yükler.
Daha az bellek:
- Offloading — CPU, model veya group offloading ile pasif modelleri veya katmanları CPU'ya taşıyın.
- Kantizasyon — Belleği azaltmak için daha küçük ağırlıklar yükleyin (bazı arka uçlar çıkarımı da hızlandırır). GGUF yaygın bir başlangıç noktasıdır.
- VAE dilimleme ve VAE karoları — Yüksek bellek kullanımını azaltmak için büyük partileri veya yüksek çözünürlüklü görüntüleri parçalar halinde çözümlenir.
Her ikisi:
- Kantize et, derle ve dışa aktar — Bir tekniğin yeterli olmadığı durumlarda kantizasyonu,
torch.compileve dışa aktarmayı birleştirin.