Sie möchten eine leistungsfähige KI direkt in Ihrem Unternehmen betreiben und fragen sich, wie viel GPU-Power nötig ist. Die entscheidende Frage ist: Wie viele GPUs arbeiten zusammen in Ihrem Server? Denn je mehr Karten parallel rechnen, desto grössere Modelle und desto mehr gleichzeitige Nutzer sind möglich. Wir unterscheiden vier Konfigurationen: S1 (1 GPU), S2 (2 GPUs), M4 (4 GPUs) und M8 (8 GPUs). Was diese Abstufungen wirklich leisten, zeigt sich erst auf den zweiten Blick.
In diesem Artikel vergleichen wir vier konkrete Server-Setups für den professionellen On-Premise Betrieb. Alle basieren auf der NVIDIA RTX Pro 6000 Blackwell Server Edition. Dank der Blackwell Architektur und 96 GB VRAM pro GPU bietet diese Karte das beste Preis-Leistungs-Verhältnis für LLM Inferenz im Enterprise Server Segment. Ein entscheidender Vorteil: Die GPU ist modular aufgebaut. Ein Server mit 4 Karten (M4) lässt sich jederzeit auf 8 Karten (M8) aufrüsten, ohne dass die bestehende Hardware ausgetauscht werden muss. Je nach Konfiguration kommen 1 bis 8 Karten in einem Server zum Einsatz. Sie erfahren, wie viele Tokens pro Sekunde jede Konfiguration generiert, wie viele Mitarbeiter gleichzeitig damit arbeiten können und für welche Aufgaben welche Servergrösse die richtige ist. Basis sind unsere gemessenen Durchsatzwerte mit aktuellen Open-Source Modellen wie DeepSeek V4 Flash und GLM 5.2.
Auf einen Blick: Welche Konfiguration für welche Aufgabe
Die Wahl des richtigen Servers hängt vor allem davon ab, was Ihre KI im Unternehmen leisten soll. Hier die Kurzfassung:
- S1 (1 GPU, 96 GB VRAM): Die richtige Wahl für den Büroalltag. Modelle wie Qwen 3.6 erledigen Textarbeit, Zusammenfassungen, Recherche und kreative Aufgaben zuverlässig und schnell. Für die tägliche Büroarbeit ist ein einzelner GPU-Server völlig ausreichend.
- S2 (2 GPUs, 192 GB VRAM): Der Einstieg ins agentische Programmieren. Mit doppeltem VRAM und Modellen wie DeepSeek V4 Flash werden mehrstufige Entwicklungsabläufe möglich: Code schreiben, testen, debuggen und optimieren in einem Durchlauf.
- M4 (4 GPUs, 384 GB VRAM) und M8 (8 GPUs, 768 GB VRAM): Für Frontier Modelle, die mit Claude Opus mithalten. Modelle wie GLM 5.2 zählen zu den leistungsfähigsten Open-Source Modellen weltweit. Sie passen nicht in den VRAM einzelner Karten und sind erst ab 4 GPUs sinnvoll betreibbar. Für produktive Teams mit mehreren Nutzern sind 8 GPUs empfohlen.
Die genauen Leistungsdaten, die hinter diesen Empfehlungen stehen, erläutern wir in den folgenden Abschnitten.
Tokens pro Sekunde: Was diese Zahl für Ihren Arbeitsalltag bedeutet
Bevor wir in die Serververgleiche einsteigen, klären wir die wichtigste Kennzahl: Tokens pro Sekunde. Ein Token ist die kleinste Einheit, die ein Sprachmodell verarbeitet, etwa eine Silbe oder ein halbes Wort. Im Deutschen entsprechen 100 Tokens ungefähr 70 bis 80 Wörtern. Wenn ein Server also 200 Tokens pro Sekunde generiert, entstehen daraus rund 150 Wörter pro Sekunde oder etwa 9.000 Wörter pro Minute. Das ist weit mehr, als ein Mensch lesen kann.
Für den Büroalltag bedeutet das: Die reine Generierungsgeschwindigkeit ist selten der Engpass. Viel entscheidender ist die Fähigkeit des Servers, viele Anfragen gleichzeitig zu bearbeiten. Ein KV Cache (Key-Value Cache) ist der Arbeitsspeicher, den das Modell braucht, um den bisherigen Gesprächsverlauf nicht jedes Mal neu berechnen zu müssen. Moderne Inferenz-Engines wie vLLM nutzen Automatic Prefix Caching, um identische Anfänge von Anfragen wiederzuverwenden und so Speicher zu sparen. Je grösser der KV Cache, desto mehr gleichzeitige Unterhaltungen oder desto längere Kontextfenster sind möglich.
Die folgende Tabelle zeigt die gemessenen Durchsatzwerte unserer vier Server-Konfigurationen mit verschiedenen Open-Source Modellen. Alle Messungen basieren auf NVIDIA RTX Pro 6000 Blackwell Server Edition GPUs mit 96 GB VRAM pro Karte.
| Konfiguration | GPUs | VRAM gesamt | Modell | Generation Single (tok/s) | Generation Gleichzeitig (tok/s) | Input Single (tok/s) | Input Gleichzeitig (tok/s) | Seiten pro Stunde | KV Cache in Token | Gleichzeitige Nutzer Büroarbeit | Gleichzeitige Nutzer Agentisches Programmieren |
|---|---|---|---|---|---|---|---|---|---|---|---|
| S1 | 1 | 96 GB | Qwen 3.6 35B A3B | 260 | 900 | 11.000 | 17.000 | 102.000 | 164.000 | 5 | 0 |
| S2 | 2 | 192 GB | DeepSeek V4 Flash | 200 | 1.300 | 6.000 | 10.000 | 60.000 | 1.400.000 | 44 | 10 |
| M4 | 4 | 384 GB | GLM 5.2 | 100 | 400 | 3.000 | 5.000 | 30.000 | 400.000 | 13 | 3 |
| M8 | 8 | 768 GB | GLM 5.2 | 100 | 800 | 4.000 | 10.000 | 60.000 | 4.000.000 | 125 | 31 |
Berechnung Seiten pro Stunde: 400 Wörter pro Seite, 1.5 Tokens pro Wort, basierend auf dem gleichzeitigen Input-Durchsatz. Alle Messungen mit NVIDIA RTX Pro 6000 Blackwell Server Edition.
Der S2 mit DeepSeek V4 Flash erreicht 1.300 tok/s gleichzeitig und bietet einen Kontext von einer Million Tokens. Der S1 mit Qwen 3.6 35B A3B erzielt 900 tok/s gleichzeitig als MoE Modell, das hervorragend parallelisiert werden kann und mit nur 3 Milliarden aktiven Parametern auskommt.
Warum ein einzelner GPU-Server fürs Büro reicht und wann Sie mehr brauchen
Die S1 Konfiguration mit einer einzelnen GPU und 96 GB VRAM ist für viele Büroaufgaben völlig ausreichend. Mit Modellen wie Qwen 3.6 erledigt sie zuverlässig Textarbeit, Zusammenfassungen, Recherche und kreative Aufgaben. Die gemessenen 102.000 Seiten pro Stunde Input-Verarbeitung bedeuten, dass selbst grosse Dokumentenmengen in Sekunden analysiert werden können.
Doch es gibt eine wichtige Einschränkung: Der KV Cache des S1 ist für agentisches Programmieren zu klein. Was bedeutet das konkret? Wenn eine KI selbstständig Code schreiben, testen und debuggen soll, braucht sie einen langen Gesprächsverlauf, oft zehntausende von Tokens. Jeder dieser Tokens belegt Platz im KV Cache. Bei 96 GB VRAM ist nach etwa 164.000 Tokens Schluss. Das reicht für einfache Code-Fragen, aber nicht für mehrstufige Programmierprojekte.
Hier sind die konkreten Empfehlungen für die S1 Konfiguration:
- Büroarbeit und Textverarbeitung: Hervorragend geeignet. Modelle wie Qwen 3.6 liefern Antworten in Sekundenbruchteilen.
- Dokumentenanalyse und Recherche: Sehr gut. Bis zu 100.000 Seiten Input pro Stunde sind möglich.
- Kreative Aufgaben und Marketing: Gut geeignet, da mittlere Kontextfenster völlig ausreichen.
- Agentisches Programmieren: Nicht geeignet. Der KV Cache ist zu klein für die nötigen Kontextfenster.
Der Qwen 3.6 35B A3B eignet sich besonders gut für den S1, weil er als Mixture-of-Experts Modell nur 3 Milliarden aktive Parameter hat. Das bedeutet: Obwohl das Modell insgesamt 35 Milliarden Parameter besitzt, werden pro Berechnungsschritt nur 3 Milliarden verwendet. Das spart Speicher und beschleunigt die Verarbeitung enorm. Aktuelle Versionen unterstützen zudem einen nativen Kontext von 262.144 Tokens.
Der S2 mit zwei GPUs und 192 GB VRAM ist der nächste logische Schritt. Mit DeepSeek V4 Flash, einem Modell mit 284 Milliarden Parametern, davon 13 Milliarden aktiv, erreicht er eine Million Tokens Kontextlänge. Damit wird agentisches Programmieren mit mehrstufigen Arbeitsabläufen möglich. Die Faustregel: Für Büroarbeit reicht ein S1, für anspruchsvolle Code-Entwicklung mit KI braucht es einen S2.
Von 4 auf 8 GPUs: Wann sich der Sprung zu M4 und M8 lohnt
Die Konfigurationen M4 und M8 setzen auf GLM 5.2, ein hochmodernes Modell von Zhipu AI, das unter der MIT-Lizenz veröffentlicht wurde. GLM 5.2 zählt zu den leistungsfähigsten Open-Source Modellen weltweit und kann auf Coding-Benchmarks wie SWE-bench Pro mit Claude Opus mithalten. Solche Frontier Modelle sind jedoch erst ab 4 GPUs (M4) sinnvoll betreibbar, für produktive Teams sind 8 GPUs (M8) empfohlen. Mit einer soliden Million Tokens Kontext und spezieller Optimierung für langlaufende Aufgaben ist GLM 5.2 für anspruchsvolle Projekte konzipiert.
Interessant ist der Vergleich zwischen M4 und M8: Beide Konfigurationen laufen mit dem gleichen Modell und erzielen die gleiche single-Generierungsrate von 100 Tokens pro Sekunde. Der Unterschied liegt in der Parallelverarbeitung. Der M8 kann mehr Anfragen gleichzeitig bearbeiten, weil er über mehr KV Cache Speicher verfügt.
Die Tabelle oben zeigt auch die Anzahl gleichzeitiger Nutzer. Der M8 ist die einzige Konfiguration, die wirklich für grosse Teams ausgelegt ist. Mit 125 gleichzeitigen Nutzern für Büroarbeit oder 31 Nutzern für agentisches Programmieren skaliert er weit über die anderen Konfigurationen hinaus. Zudem ist der M8 die erste Konfiguration, die Frontier Modelle wie GLM 5.2 mit einer für Teams brauchbaren Geschwindigkeit betreibt. Der M4 ist dagegen eher für kleinere Teams oder den Einstieg in Frontier Modelle geeignet.
Der KV Cache: Die unsichtbare Grenze Ihrer KI-Infrastruktur
Viele Unternehmen konzentrieren sich bei der Serverwahl ausschliesslich auf die Rechenleistung in TFLOPS oder die Anzahl der Parameter, die ein Modell verarbeiten kann. In der Praxis ist der KV Cache oft der engere Engpass, und zwar für die allermeisten Anwendungen.
Der KV Cache (Key-Value Cache) ist der Speicher, den das Modell benötigt, um den bisherigen Verlauf einer Unterhaltung oder Berechnung “im Kopf zu behalten”. Stellen Sie sich das wie den Kurzzeitspeicher eines Menschen vor. Wenn Sie einer KI eine Aufgabe mit 50 Seiten Kontext geben, muss sie alle diese Seiten im KV Cache vorhalten, um darauf Bezug nehmen zu können. Ist der Cache voll, kann die KI entweder keine weiteren Nutzer bedienen oder muss ältere Informationen vergessen.
In der vLLM Dokumentation wird der KV Cache als das zentrale Optimierungsziel moderner Inferenz-Engines beschrieben. Die Technik des Automatic Prefix Caching (APC) erlaubt es, identische Anfänge von Anfragen wiederzuverwenden und so Speicher zu sparen. In der Praxis heisst das: Wenn mehrere Mitarbeiter ähnliche Fragen stellen oder auf dieselben Dokumente zugreifen, kann der Server den KV Cache gemeinsam nutzen und kommt mit weniger Speicher aus.
Für Schweizer KMUs in regulierten Branchen wie Private Banking, Treuhand oder Medizinaltechnik ist der KV Cache auch datenschutzrechtlich relevant. Denn je grösser der Cache, desto mehr Kontext kann bei einer Anfrage mitgegeben werden und desto komplexere Datenauswertungen sind möglich, ohne dass Daten das Unternehmen verlassen müssen. Das neue Schweizer Datenschutzgesetz (nDSG) verlangt, dass personenbezogene Daten angemessen geschützt werden. Ein ausreichend dimensionierter KV Cache ist eine Voraussetzung dafür, komplexe Analysen lokal durchführen zu können.
Die Rolle des Kontextfensters: Warum eine Million Tokens mehr als nur eine Zahl ist
Die Modelle DeepSeek V4 Flash, GLM 5.2 und Qwen 3.6 unterstützen alle Kontextfenster von einer Million Tokens oder mehr. Das klingt abstrakt, hat aber ganz konkrete Auswirkungen auf Ihre Arbeit.
Ein Kontextfenster von einer Million Tokens bedeutet: Sie können eine KI mit dem gesamten Handbuch Ihres wichtigsten Produkts füttern, dazu die letzten fünfzig Kundenanfragen, die aktuelle Angebotsvorlage und noch das Protokoll der Teamsitzung, alles in einer einzigen Anfrage. Die KI behält den Überblick über alle diese Informationen und kann Zusammenhänge erkennen, die bei mehreren Einzelanfragen verloren gehen würden.
Das DeepSeek V4 Flash Modell nutzt eine Hybrid Attention Architektur, die speziell für lange Kontexte optimiert ist. Anders als frühere Modelle muss DeepSeek nicht jede Position im Text mit jeder anderen vergleichen, sondern kombiniert lokale Aufmerksamkeit (für den direkten Kontext) mit komprimierter, weitreichender Aufmerksamkeit (für den Gesamtzusammenhang). Das spart Rechenleistung und erlaubt die Verarbeitung von einer Million Tokens in Echtzeit.
Auch GLM 5.2 von Zhipu AI setzt auf eine ähnliche Optimierung. Das Modell verwendet eine Technik namens IndexShare, bei der mehrere Aufmerksamkeitsschichten denselben Index gemeinsam nutzen. Dadurch reduziert sich der Rechenaufwand bei einer Million Tokens um den Faktor 2.9. GLM 5.2 ist unter der MIT-Lizenz veröffentlicht und erreicht auf Coding-Benchmarks wie SWE-bench Pro 62.1 Prozent. Das liegt auf dem Niveau von Claude Opus 4.8 (69.2 Prozent). Allerdings benötigt ein Modell dieser Grössenordnung entsprechend viele GPUs: Auf einer einzelnen Karte passt GLM 5.2 nicht in den VRAM, erst ab 4 GPUs wird es nutzbar, und für den produktiven Einsatz mit mehreren Nutzern sind 8 GPUs empfohlen. Beide Modelle zeigen: Die Architektur des Modells ist für die Praxis oft wichtiger als die reine Parameterzahl.
Stromverbrauch und Kühlung: Was die Server im Betrieb benötigen
Ein Aspekt, der bei der Serverwahl oft übersehen wird, ist der Stromverbrauch. Ein KI-Server läuft typischerweise rund um die Uhr und verbraucht dabei beträchtliche Mengen an Energie. Die Leistungsaufnahme steigt mit der Anzahl GPUs und der damit verbundenen Kühlung.
Die S1 Konfiguration mit einer GPU kommt auf etwa 0.8 Kilowatt. Das entspricht ungefähr dem Verbrauch eines Gaming-PCs. Die Wärmeentwicklung ist moderat, sodass der Server in den meisten Serverräumen ohne spezielle Klimatisierung betrieben werden kann.
Der S2 mit zwei GPUs steigt auf rund 1.3 Kilowatt. Hier wird die Kühlung bereits anspruchsvoller. Ein Serverraum oder zumindest ein gut belüfteter Technikraum ist empfehlenswert. Die Wärmeabgabe entspricht etwa der eines kleinen Heizlüfters.
Die M4 und M8 Konfigurationen mit vier beziehungsweise acht GPUs erreichen 3 bis 5 Kilowatt. Für diese Systeme ist ein professioneller Serverraum mit Klimatisierung unerlässlich. Die Abwärme ist beträchtlich und muss aktiv abgeführt werden. In der Praxis bedeutet das: Ein M8 Server benötigt einen eigenen Raum mit entsprechender Infrastruktur.
Für die Planung Ihrer KI-Infrastruktur ist es wichtig, diese Randbedingungen frühzeitig zu berücksichtigen. Ein Server, der im Heizungskeller oder Abstellraum platziert werden kann, reduziert den Planungsaufwand erheblich. Ein System, das einen eigenen Serverraum braucht, erfordert entsprechende bauliche Massnahmen.
FAQ
Was ist der Unterschied zwischen einem Token und einem Wort? Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells. Im Deutschen entsprechen etwa 100 Tokens 70 bis 80 Wörtern. Tokens sind keine ganzen Wörter, sondern können Silben, Zeichen oder Wortteile sein.
Wie viele gleichzeitige Nutzer kann ein S1 Server bedienen? Für reine Büroarbeit mit kleinen Kontextfenstern etwa 5 Nutzer gleichzeitig. Für agentisches Programmieren ist der S1 nicht geeignet, weil der KV Cache für die nötigen Kontextlängen zu klein ist.
Brauche ich für KI im Büro zwingend einen Server mit mehreren GPUs? Nein. Ein S1 mit einer einzelnen GPU und Modellen wie Qwen 3.6 ist für die meisten Büroaufgaben völlig ausreichend. Mehrere GPUs werden erst dann interessant, wenn viele Mitarbeiter gleichzeitig arbeiten oder agentische Arbeitsabläufe zum Einsatz kommen.
Was bedeutet agentisches Programmieren genau? Agentisches Programmieren bedeutet, dass die KI nicht nur einzelne Code-Fragen beantwortet, sondern selbstständig mehrstufige Aufgaben übernimmt: Code schreiben, testen, Fehler beheben und optimieren. Das erfordert sehr grosse Kontextfenster und entsprechend viel KV Cache.
Die RTX 6000 Pro Blackwell hat kein NVLink. Ist das kein Problem? Nein, das ist kein Problem. Moderne Architekturen wie Mixture-of-Experts Modelle verteilen ihre Experten direkt auf die GPUs, sodass pro Berechnungsschritt nur minimale Routing-Informationen zwischen den Karten ausgetauscht werden müssen. Diese Datenmenge ist klein, und der entscheidende Faktor ist die Latenz, nicht die Bandbreite. PCIe 5.0 mit seiner geringen Latenz reicht dafür völlig aus. NVLink wäre vor allem bei dichten Modellen mit grossem Gewichtsaustausch von Vorteil, diese sind aber in der Praxis für LLM Inferenz nicht mehr erste Wahl.
Kann ich verschiedene Modelle auf demselben Server gleichzeitig betreiben? Ja, moderne Inferenz-Engines wie vLLM erlauben den parallelen Betrieb mehrerer Modelle. Die verfügbaren Ressourcen (VRAM, KV Cache) werden dann allerdings geteilt, was die maximale Anzahl gleichzeitiger Nutzer reduziert.
Warum ist der KV Cache wichtiger als die reine Rechenleistung? Weil in der Praxis die meisten KI-Anwendungen durch die Speicherbandbreite und nicht durch die reine Rechenleistung begrenzt werden. Ein grosszügig dimensionierter KV Cache erlaubt mehr gleichzeitige Nutzer und längere Kontexte, was sich direkt auf die Produktivität auswirkt.
Welches Modell ist für ein KMU am besten geeignet? Das hängt von den konkreten Aufgaben ab. Für allgemeine Büroarbeit ist Qwen 3.6 hervorragend geeignet, da es mit nur 3 Milliarden aktiven Parametern extrem effizient läuft. Für anspruchsvolle Programmieraufgaben und agentische Abläufe empfehlen sich DeepSeek V4 Flash oder GLM 5.2. Beide sind unter offenen Lizenzen (MIT) verfügbar und für den professionellen Einsatz optimiert.