Welche Grafikkarte für Deep-Learning?

Für Deep Learning zählt bei der Grafikkarte vor allem eines: der Videospeicher (VRAM). Er entscheidet, wie groß Ihr Modell und Ihre Batches sein dürfen – rohe Rechenleistung kommt erst danach. Dieser Artikel ordnet die aktuellen Karten (Stand 2026) nach Budget und Einsatzzweck ein, nennt konkrete VRAM-Grenzen und zeigt, wie Sie vor dem Kauf prüfen, ob eine Karte zu Ihrem Framework passt.

VRAM ist der eigentliche Flaschenhals

Beim Training belegt eine GPU nicht nur die Modellgewichte, sondern zusätzlich die Gradienten, die Zustände des Optimizers (Adam speichert grob das Doppelte der Gewichte) und die Aktivierungen, die mit Batch-Größe und Sequenzlänge wachsen. Deshalb gilt: Läuft ein Job in den Fehler CUDA out of memory, hilft die schnellste Karte nichts. Eine langsamere GPU mit mehr VRAM schlägt in der Praxis oft eine schnellere mit weniger Speicher.

Grobe Richtwerte, an denen Sie sich orientieren können:

• 8–12 GB: Lernen, kleine CNNs, Bildklassifikation, kleine Transformer-Feintunings per LoRA.
• 16 GB: solide für viele Projekte, Diffusionsmodelle (Stable Diffusion, FLUX), 7B-Sprachmodelle quantisiert.
• 24 GB: lokales Feintuning bis etwa 13B per QLoRA, komfortables Training von Bildmodellen.
• 32 GB: 30B-Modelle inferieren, größere Batches, weniger Kompromisse.
• 48–96 GB: Feintuning von 70B-Modellen (QLoRA), Forschung ohne Multi-GPU-Aufwand.

Zur Einordnung der Modellgröße: Ein 7B-Sprachmodell belegt in FP16 rund 14 GB nur für die Gewichte, in 4-Bit-Quantisierung etwa 4–5 GB. Wie sich die Parameterzahl aus dem Netzaufbau ergibt, erklärt der Beitrag Wie viele Schichten gibt es beim Deep Learning?.

Warum es fast immer NVIDIA wird

Die gängigen Frameworks – PyTorch, TensorFlow, JAX – sind auf NVIDIAs CUDA und die Bibliothek cuDNN ausgelegt. Für NVIDIA-Karten gibt es fertige Pakete, funktionierende Treiber und die meiste Dokumentation. Das ist der Hauptgrund, warum NVIDIA den Markt dominiert (mehr dazu unter Ist NVIDIA Marktführer?).

AMD holt mit der ROCm-Plattform auf: Im Rechenzentrum ist die Instinct MI300X mit 192 GB HBM3 konkurrenzfähig. Auf dem Desktop läuft ROCm mit Radeon-Karten (etwa der RX 7900 XTX mit 24 GB) unter Linux, verursacht aber mehr Einrichtungsaufwand und bietet weniger vorgefertigte Pakete als CUDA. Apple Silicon ist eine dritte Option: Über den MPS-Backend von PyTorch oder Apples MLX nutzen M-Chips ihren gemeinsamen (Unified-)Speicher – gut für Inferenz und leichtes Training auf einem Mac, aber nicht für schweres Training gedacht.

Empfehlungen nach Budget und Einsatz

Einstieg und Lernen

Eine gebrauchte RTX 3060 mit 12 GB ist günstig und hat mehr VRAM als manche teurere Gaming-Karte. Neu und sparsam ist die RTX 4060 Ti 16 GB (rund 165 W): schmaler Speicherbus, aber viel VRAM fürs Geld – zum Lernen ideal.

Preis-Leistungs-Tipp: gebrauchte RTX 3090

Der Klassiker unter den Value-Empfehlungen: 24 GB GDDR6X, oft deutlich günstiger als eine 4090 oder 5090. Für lokales Feintuning und Bildmodelle die beste €/GB-Wahl. Achten Sie auf den Zustand (Vorbelastung durch Mining, gealterte Lüfter und Wärmeleitpads).

Enthusiast und lokales Training

• RTX 4090: 24 GB GDDR6X, rund 1.008 GB/s Speicherbandbreite – weiterhin eine sehr starke Trainingskarte.
• RTX 5090: 32 GB GDDR7, 1.792 GB/s Bandbreite (Blackwell-Architektur), 575 W TDP, Unterstützung für FP4-Quantisierung. UVP 1.999 US-Dollar zum Marktstart im Januar 2025. Die deutlich höhere Bandbreite beschleunigt vor allem die LLM-Inferenz (Token pro Sekunde). Rechnen Sie ein kräftiges Netzteil ein.

Workstation und große Modelle

Die RTX PRO 6000 Blackwell bietet 96 GB GDDR7 mit ECC bei 600 W. Damit lässt sich ein 70B-Modell per QLoRA auf einer einzigen Karte feintunen – ohne die Komplexität eines Multi-GPU-Aufbaus. Der Preis liegt im hohen vierstelligen bis niedrigen fünfstelligen Bereich, je nach Händler und MwSt.. Für die lokale Bildgenerierung mit modernen Modellen (siehe FLUX.2 optimiert für NVIDIA-RTX-GPUs) ist so viel Speicher ebenfalls komfortabel.

Rechenzentrum und Cloud-Miete

Für großes Training werden Karten wie A100 (40/80 GB), H100 (80 GB), H200 (141 GB) oder B200 in der Regel gemietet statt gekauft. Anbieter wie Google Colab, RunPod, vast.ai oder Lambda vermieten GPU-Zeit stundenweise. Das lohnt sich, wenn Sie nur zeitweise viel Leistung brauchen: kein gebundenes Kapital, keine Stromkosten, jederzeit skalierbar.

Kaufkriterien-Checkliste

• VRAM zuerst – die entscheidende Größe (siehe oben).
• Speicherbandbreite – bestimmt maßgeblich das Inferenztempo.
• Tensor Cores und Zahlenformate – FP16/BF16, FP8, ab Blackwell auch FP4 für aggressivere Quantisierung.
• TDP und Netzteil – eine RTX 5090 zieht bis 575 W, plant also ein Netzteil ab etwa 1.000 W und den passenden 12V-2x6-Stecker ein.
• Kühlung und Gehäuse – High-End-Karten belegen drei bis vier Slots und brauchen Airflow.
• Treiber- und CUDA-Kompatibilität – eine neue Architektur wie Blackwell verlangt aktuelle Treiber, eine ausreichend neue CUDA-Version und passende PyTorch-Builds.
• NVLink – bei aktuellen Consumer-Karten (40er- und 50er-Serie) nicht mehr vorhanden; Multi-GPU läuft über PCIe.

Vor dem Kauf und Setup prüfen

Ob eine Karte erkannt wird und wie viel VRAM sie meldet, prüfen Sie mit dem Treiber-Tool nvidia-smi:

nvidia-smi          # zeigt Treiberversion, GPU, VRAM gesamt und Auslastung

Ob Ihr Framework die GPU wirklich nutzt, testen Sie direkt in Python:

import torch
print(torch.cuda.is_available())                                  # True?
print(torch.cuda.get_device_name(0))                              # Kartenname
print(torch.cuda.get_device_properties(0).total_memory / 1e9)     # VRAM in GB

Typische Fehler und wie Sie sie lösen:

• CUDA out of memory: Batch-Größe reduzieren, Gradient Checkpointing aktivieren, Mixed Precision nutzen (torch.cuda.amp bzw. bf16), das Modell in 4 Bit laden (z. B. über bitsandbytes) und LoRA statt vollständigem Feintuning verwenden.
• Treiber-/CUDA-Mismatch: PyTorch bringt seine eigene CUDA-Runtime mit; entscheidend ist ein ausreichend neuer NVIDIA-Treiber. Für eine ganz neue Architektur nehmen Sie die aktuelle oder eine Nightly-Version von PyTorch.
• Zu wenig VRAM gekauft: lässt sich nicht nachrüsten – im Zweifel eine Stufe mehr wählen.
• Thermal Throttling: Bei Karten jenseits von 500 W entscheidet die Gehäusekühlung über die Dauerleistung.

FAQ

Reicht eine normale Gaming-Grafikkarte für Deep Learning? Ja. GeForce-Karten wie die RTX 4090, RTX 5090 oder eine gebrauchte 3090 sind fürs Lernen, Feintuning und lokale Inferenz hervorragend geeignet. Der Unterschied zu Datacenter-Karten liegt vor allem in VRAM-Menge, ECC-Speicher, NVLink und den Freigaben für den Dauerbetrieb – nicht in der grundsätzlichen Eignung.

NVIDIA oder AMD? Für Deep Learning praktisch immer NVIDIA, weil CUDA und cuDNN von allen Frameworks direkt unterstützt werden. AMD mit ROCm funktioniert unter Linux, verursacht aber mehr Einrichtungsaufwand und bietet weniger fertige Pakete.

Kaufen oder in der Cloud mieten? Dauernutzung und Datenschutz sprechen fürs Kaufen; gelegentliche große Trainings mieten Sie günstiger bei RunPod, Lambda oder Colab. Faustregel: Ab mehreren Stunden Auslastung pro Tag über mehrere Monate rechnet sich eigene Hardware. Wenn Sie ohnehin nur fertige Modelle nutzen wollen, hilft eher der Überblick unter Welche kostenlose KI ist die beste? als eine eigene GPU.