FLUX.2 auf NVIDIA RTX: Modellvarianten, VRAM-Bedarf und ComfyUI-Setup

FLUX.2 von Black Forest Labs erzeugt fotorealistische Bilder bis 4 Megapixel und lässt sich lokal auf einer NVIDIA-RTX-Grafikkarte betreiben. Die Hürde ist der Speicher: Im vollen Format belegt das große Modell zweistellige Gigabyte-Beträge an VRAM. Die folgenden Abschnitte klären, welche Variante auf Ihre Karte passt, wie Sie mit FP8- oder NVFP4-Quantisierung den Speicherbedarf drücken und wie Sie FLUX.2 in ComfyUI ans Laufen bringen — samt der Fehler, die dabei am häufigsten auftreten.

Die drei FLUX.2-Varianten im Überblick

FLUX.2 ist kein einzelnes Modell, sondern eine Familie. Die Wahl der Variante entscheidet, ob Sie überhaupt lokal generieren können:

• FLUX.2 [dev] — ein Rectified-Flow-Transformer mit rund 32 Milliarden Parametern für Text-zu-Bild und Bildbearbeitung. Die Qualitätsspitze für lokale Nutzung, aber der größte Speicherfresser.
• FLUX.2 [klein] — destillierte, kompakte Varianten (rund 9 bzw. 4 Milliarden Parameter). Sie sind auf sehr kurze Sampling-Schritte getrimmt und liefern auf aktuellen GPUs Antwortzeiten unter einer Sekunde. Ideal für schwächere Karten.-Varianten auf der offiziellen Modellkarte]
• FLUX.2 [pro] — nur über die API von Black Forest Labs, nicht für den lokalen Betrieb gedacht.

Für die eigene RTX-Karte kommen also praktisch nur [dev] und [klein] infrage.

VRAM-Bedarf: Was auf Ihre Karte passt

Der Rohbedarf hängt von Modellgröße und Datentyp ab. Als Orientierung (die exakten Werte schwanken je nach Auflösung und ComfyUI-Version):

Variante	Datentyp	VRAM (ca.)	Passende Karten
FLUX.2 [dev] 32B	BF16 (voll)	~64 GB	Nur Profi-/Server-GPUs
FLUX.2 [dev] 32B	FP8	~32 GB	RTX 5090 (32 GB)
FLUX.2 [dev] 32B	GGUF Q4	~19 GB	RTX 4090 / 5090 (24–32 GB)
FLUX.2 [klein] 9B	FP16	~29 GB	RTX 4090 (24 GB, knapp)
FLUX.2 [klein] 9B	FP8	~15 GB	RTX 4070 Ti / 4080
FLUX.2 [klein] 4B	FP8	~13 GB	RTX 3090, RTX 4070

Faustregel: Wer 24 GB VRAM hat (RTX 3090/4090), fährt mit [dev] als GGUF Q4 oder [klein] 9B in FP8 am besten. Unter 16 GB greifen Sie zu [klein] 4B. Wenn Sie noch vor dem Kauf einer Karte stehen, hilft der Überblick unter /welche-grafikkarte-fuer-deep-learning/ bei der Einordnung.

Quantisierung: FP8 und NVFP4 als Speicher-Hebel

Quantisierung reduziert die Genauigkeit der Modellgewichte und spart dadurch Speicher — bei FLUX.2 ohne sichtbaren Qualitätsverlust im Alltag.

• FP8 senkt den VRAM-Bedarf um rund 40 Prozent und macht die Generierung bis zu 1,6-mal schneller. NVIDIA hat den FP8-Checkpoint-Support gemeinsam mit ComfyUI optimiert; er steht direkt zum Start bereit.
• NVFP4 ist das schnellste 4-Bit-Format und läuft ausschließlich auf RTX-50-Karten (Blackwell). Es bringt bis zu 2,7-fache Geschwindigkeit bei bis zu 55 Prozent weniger VRAM.
• GGUF (etwa Q4_K_S) ist die flexibelste Sparoption. Über den Node ComfyUI-GGUF lassen sich Teile des Modells zwischen GPU und System-RAM aufteilen — die praktikable Wahl für 24-GB-Karten.

Wichtig: NVFP4 setzt eine RTX-50-GPU voraus. Auf einer RTX 4090 (Ada) nutzen Sie stattdessen FP8 oder GGUF.

FLUX.2 [dev] in ComfyUI einrichten

ComfyUI unterstützt FLUX.2 nativ, ohne Zusatzpaket. So gehen Sie vor:

1. ComfyUI aktualisieren. Öffnen Sie den ComfyUI-Manager und ziehen Sie die neueste Version. Ältere Builds kennen die FLUX.2-Templates noch nicht.
2. Die drei benötigten Dateien laden. FLUX.2 [dev] braucht drei Komponenten: das Diffusion-Modell, den Text-Encoder und die VAE. Sie liegen im Repository Comfy-Org/flux2-dev auf Hugging Face.
3. Dateien einsortieren. Legen Sie das Diffusion-Modell nach ComfyUI/models/diffusion_models/, den Text-Encoder nach ComfyUI/models/text_encoders/ und die VAE nach ComfyUI/models/vae/.
4. Template öffnen. Über Workflow → Browse Templates finden Sie die fertige FLUX.2-Vorlage. Sie lädt die passenden Nodes und Sampler-Einstellungen automatisch.
5. Prompt eingeben und generieren. Für den ersten Test genügt ein einfacher Prompt bei 1024×1024 Pixeln, bevor Sie auf 4 Megapixel hochgehen.

Ein bequemer Startweg ist ComfyUI über Stability Matrix: Dort installieren Sie ComfyUI per „Add Package“ und verwalten Modelle zentral.

Weight Streaming gegen „Out of Memory“

Reicht der VRAM knapp nicht, muss nicht sofort eine kleinere Variante her. NVIDIA und ComfyUI haben das Weight Streaming verbessert: Teile des Modells werden in den System-RAM ausgelagert und bei Bedarf nachgeladen. Das erweitert den effektiv nutzbaren Speicher — zulasten der Geschwindigkeit, weil System-RAM langsamer ist als VRAM.

Praktisch heißt das: Mit 32 GB System-RAM (besser 64 GB) läuft [dev] auch auf einer 24-GB-Karte, nur eben langsamer. Aktivieren Sie das Offloading in den ComfyUI-Einstellungen bzw. über die entsprechenden Loader-Optionen.

Typische Fehler und ihre Lösungen

• „CUDA out of memory“ beim Laden. Sie nutzen ein zu großes Format. Wechseln Sie von BF16 auf FP8 oder GGUF Q4 — oder eine Stufe kleiner auf [klein] 9B.
• Absturz erst nach dem Rendern. Häufig ein VAE-Decode-Problem bei hoher Auflösung. Testen Sie zunächst 1024×1024 und aktivieren Sie Tiled VAE, bevor Sie auf 4 Megapixel gehen.
• Node „unbekannt“ / rote Boxen. ComfyUI ist zu alt. Über den Manager aktualisieren und für GGUF zusätzlich ComfyUI-GGUF installieren.
• NVFP4 lädt nicht. Das Format läuft nur auf RTX-50-Karten. Auf älteren GPUs FP8 verwenden.
• Extrem langsame Generierung. Meist ist Weight Streaming aktiv und lagert stark aus. Mehr System-RAM oder ein kleineres Modell schafft Abhilfe.

Wofür sich FLUX.2 lohnt

Die Kombination aus fotorealistischer Ausgabe, sauberem — auch mehrsprachigem — Text im Bild, Pose Control für konsistente Figuren und Multi-Reference mit mehreren Referenzbildern macht FLUX.2 für konkrete Produktionsaufgaben interessant: Storyboards, Produktvarianten, Marketing-Assets und Konzeptkunst. Weil das Modell ohne Cloud-Abo lokal läuft, bleiben Daten und laufende Kosten unter Kontrolle — der eigentliche Vorteil gegenüber reinen API-Diensten.

FAQ

Welche RTX-Karte brauche ich mindestens für FLUX.2? Mit 12–16 GB VRAM läuft FLUX.2 [klein] 4B in FP8 komfortabel (z. B. RTX 4070). Für [dev] in GGUF Q4 sollten es 24 GB sein (RTX 3090/4090); die volle FP8-Version fühlt sich erst auf einer RTX 5090 mit 32 GB flüssig an.

Was bringt NVFP4 gegenüber FP8? NVFP4 ist deutlich schneller (bis 2,7-fach) und spart mehr Speicher (bis 55 Prozent), funktioniert aber nur auf RTX-50-GPUs. Auf einer RTX 4090 ist FP8 die richtige Wahl.

Brauche ich zusätzliche Pakete in ComfyUI? Für die Standard-Formate nein — FLUX.2 wird nativ unterstützt. Nur wenn Sie GGUF-Modelle nutzen, installieren Sie den Node ComfyUI-GGUF über den Manager.

Weitere Details und Benchmarks stehen im NVIDIA-Blog zu FLUX.2 in ComfyUI sowie im offiziellen FLUX.2-Repository.