Wie viele NVIDIA-Karten nutzt ein KI-Rechenzentrum für ChatGPT, Grok & Gemini?
Du willst wissen, wie viele Grafikkarten hinter ChatGPT, Grok oder Gemini stecken und wie viel Strom das frisst. Hier bekommst du direkt Größenordnungen und die wichtigsten Zahlen – ohne Marketing.
Ein einzelnes großes KI-Cluster nutzt heute zehntausende bis über 100.000 NVIDIA-Rechenkarten (GPUs) – nicht die Gaming-Karten aus dem PC, sondern Rechenzentrums-Beschleuniger wie NVIDIA H100, H200 oder GB200. Für xAIs Grok wurde das Cluster „Colossus" öffentlich mit rund 100.000 NVIDIA H100 gestartet, mit angekündigtem Ausbau auf mehrere Hunderttausend. Für ChatGPT nennt OpenAI keine offiziellen Zahlen; berichtet wurde, dass GPT-4 auf rund 25.000 älteren A100-GPUs trainiert wurde. Behandle alle konkreten Stückzahlen als Schätzungen bzw. Medienberichte, nicht als bestätigte Werksangaben.
Ein häufiger Irrtum: Google betreibt Gemini überwiegend auf eigenen Chips – den TPUs (Tensor Processing Units, z. B. v5 und Trillium) – und nicht primär auf NVIDIA-Karten. NVIDIA dominiert bei OpenAI (ChatGPT über Microsoft-Rechenzentren) und xAI (Grok), aber bei Google ist der Anteil eigener Hardware hoch. Wenn du also GPU-Zahlen vergleichst: Für Gemini ist „NVIDIA-Karten" die falsche Einheit – dort zählen TPUs.
Unterscheide klar: Für das Training eines großen Modells werden über Wochen zehntausende GPUs gleichzeitig gebündelt. Für den laufenden Betrieb (Inferenz), also deine tägliche Chat-Anfrage, verteilt sich die Last auf viele kleinere Server-Gruppen. Ein typischer Server-Knoten (HGX/DGX) enthält 8 GPUs. Ein Cluster mit 100.000 GPUs entspricht damit rund 12.500 solcher 8er-Server plus Netzwerk, Speicher und Kühlung.
Rechne mit rund 700 Watt pro NVIDIA H100 unter Last; neuere Karten (H200, GB200) liegen höher. Ein Cluster mit 100.000 H100 zieht damit allein für die GPUs etwa 70 Megawatt. Mit Kühlung, Netzteilen und Netzwerk (Faktor PUE ~1,2–1,4) kommst du auf grob 85–100 Megawatt Gesamtleistung – das entspricht der Größenordnung einer Kleinstadt. Diese Werte sind Näherungen aus Kartenanzahl × Leistungsaufnahme, keine gemessenen Betriebsdaten der Anbieter.
Für eine einzelne ChatGPT-Anfrage kursieren Schätzungen von etwa 0,3 Wattstunden (Epoch AI, für GPT-4o) bis zu älteren, deutlich höheren Werten um 3 Wh aus 2023. Die Spanne ist groß, weil Modellgröße, Antwortlänge und Auslastung stark variieren – nimm 0,3 Wh als grobe Untergrenze für moderne, optimierte Modelle. Offiziell bestätigt ist keiner dieser Werte.
OpenAI, xAI und Google veröffentlichen kaum belastbare GPU-Stückzahlen oder Verbrauchsdaten pro Anfrage. Fast alle kursierenden Zahlen sind Schätzungen von Analysten, Rückrechnungen aus Chip-Bestellungen oder einzelne Presseangaben. Wenn dir jemand eine exakte GPU-Zahl für ChatGPT nennt, ist Skepsis angebracht – seriös sind nur Größenordnungen: zehntausende bis hunderttausende Karten, zweistellige bis dreistellige Megawatt pro Standort.