Member of Inception Program

Wie performant ist die On-Premise-KI?

Schnell genug für ein ganzes Team auf einem einzigen Server, und in der Praxis oft spürbar schneller als die Cloud: keine Netzwerk-Umwege, dedizierte Hardware, keine geteilten Ressourcen.

Echte Zahlen vom Server S2

Ein einzelner S2 (2x NVIDIA RTX PRO 6000 Blackwell) betreibt DeepSeek v4 flash mit vollem 1M-Kontextfenster und erreicht dabei:

  • 1’300 Tokens/s Textgenerierung bei parallelen Anfragen, 200 Tokens/s im Einzelbetrieb
  • 10’000 Tokens/s Verarbeitung von Eingaben bei parallelen Anfragen
  • 44 Nutzer:innen gleichzeitig im Office-Einsatz, plus 10 parallele Coding-Agenten
  • 60’000 Seiten pro Stunde Dokumentenklassifikation im Dauerbetrieb
  • 3,4 Mrd. generierte Tokens pro Monat, dazu 26 Mrd. verarbeitete Eingabe-Tokens

Vorläufige Messwerte, Stand August 2026, die Verifizierung läuft. Alle Details auf der Server-Seite.

Unser Team optimiert auf Performance

Diese Zahlen fallen nicht vom Himmel: Wir wählen die Modelle passend zum Anwendungsfall, quantisieren und konfigurieren sie für die vorhandene Hardware und tunen Inferenz-Stack, KV-Cache und Batching laufend weiter. Wie viel das ausmacht, zeigt unser Deep-Dive: Apertus v1.5 70B auf einer einzelnen NVIDIA RTX PRO 6000 Blackwell, mit Vision, Tool Calling und bis zu 229k Tokens Kontext auf nur einer GPU.

Warum On-Premise oft schneller ist

Die Anfrage geht direkt vom Arbeitsplatz an den Server im eigenen Haus: kein Internet-Roundtrip, keine Warteschlangen fremder Mandanten, keine Drosselung durch Rate Limits. Die GPUs arbeiten exklusiv für Ihr Team.

Kurz gesagt

Mit dem richtigen Modell und sauberem Tuning bedient ein einzelner Server ein ganzes Unternehmen, mit Latenzen, die Cloud-Setups je nach Szenario deutlich unterbieten.

Nächste Schritte

Quellen und weiterführende Informationen: