KI-Modelle

Parameter bezeichnen die Anzahl der lernbaren Gewichte im Modell (gemessen in Milliarden, z.B. 70B). Grösse bezieht sich auf den Speicherplatz, der für die Modelldateien benötigt wird (gemessen in GB). Quantisierte Modelle haben weniger Bits pro Parameter, was zu kleineren Dateigrössen führt, während die meisten Fähigkeiten des Modells erhalten bleiben.

Planen Sie VRAM für Modellgewichte, KV-Cache und die Inferenzlaufzeit ein. Der Bedarf hängt von Quantisierung, Kontextlänge und gleichzeitigen Anfragen ab. Die Dateigrösse allein reicht deshalb nicht zur Dimensionierung eines Servers. Die Quantisierung von Gewichten oder KV-Cache kann den Speicherbedarf reduzieren. Prüfen Sie Speicherverbrauch und Ausgabequalität mit Ihrem konkreten Anwendungsfall.

Experimentelle Modelle sind neuere Quantisierungen oder Konfigurationen, die noch validiert werden. Sie können bessere Leistung oder Effizienz bieten, wurden aber noch nicht gründlich in Produktionsumgebungen getestet. Stabile Modelle wurden für zuverlässigen Betrieb verifiziert.

Beginnen Sie mit den benötigten Modellen, der Quantisierung und der Anzahl gleichzeitiger Nutzer. Vergleichen Sie passende Modellfamilien über die Serverauswahl und prüfen Sie anschliessend die konkrete Variante. Planen Sie neben den Modelldateien auch VRAM für Kontext und KV-Cache ein.

Ja, wenn Sie über ausreichend VRAM verfügen. Die Gesamtgrösse der geladenen Modelle muss in den verfügbaren Speicher Ihres Servers passen. Grössere Stufen ermöglichen den gleichzeitigen Betrieb mehrerer Modelle für verschiedene Anwendungsfälle.

Modalitäten geben an, welche Datentypen ein Modell verarbeiten (Eingabe) und erzeugen (Ausgabe) kann. Textmodelle verarbeiten geschriebene Inhalte, Bildmodelle können Bilder analysieren oder generieren, Code-Modelle sind für Programmieraufgaben optimiert, und multimodale Modelle kombinieren mehrere Fähigkeiten.