KIRatgeber 8 Min. ·

On-Premise LLM Sizing Guide: GPU-Bedarf, Kubernetes-Setup und Betriebskosten (vLLM & Triton)

Von Daniel Weise · Gründer & Geschäftsführer, MAKONIS

Kurz gesagt

Für den GPU-Speicher eines On-Premise-LLM gilt die Faustformel: Parameter in Milliarden × 2 GB bei FP16/BF16, × 1 GB bei FP8/INT8 und × 0,6 GB bei INT4/AWQ, plus 20 bis 40 Prozent Puffer für den KV-Cache. Ein 8B-Modell läuft in FP8 komfortabel auf einer NVIDIA L40S mit 48 GB; ein 70B-Modell in FP8 braucht mindestens zwei L40S, besser vier, oder eine H200. Für den Produktivbetrieb mit vielen Nutzern ist vLLM auf Kubernetes der Standard. Rein über die Kosten rechnet sich eigene Hardware erst bei hoher Dauerlast – der häufigere Grund ist, dass Daten das Haus nicht verlassen dürfen.

Kostenloses Gespräch

01

VRAM-Faustformel: Wie viel GPU-Speicher braucht ein LLM?

Der GPU-Speicher (VRAM) entscheidet, welches Modell überhaupt lädt. Er setzt sich aus drei Teilen zusammen: den Modellgewichten, dem KV-Cache für laufende Anfragen und einem festen Overhead von einigen Gigabyte für CUDA-Kontext und Zwischenergebnisse.

Für die Gewichte genügt eine einfache Rechnung: Parameterzahl in Milliarden mal Bytes pro Parameter. Bei FP16 oder BF16 sind das rund 2 GB je Milliarde Parameter, bei FP8 oder INT8 rund 1 GB und bei 4-Bit-Verfahren wie AWQ oder GPTQ rund 0,6 GB – etwas mehr als die rechnerischen 0,5 GB, weil Skalierungsfaktoren und einzelne Schichten in höherer Genauigkeit hinzukommen.

Der KV-Cache speichert für jedes Token im Kontext Zwischenwerte der Attention: 2 × Schichten × KV-Köpfe × Kopfdimension × Bytes. Für Llama 3.3 70B sind das 2 × 80 × 8 × 128 × 2 Byte, also rund 320 KB pro Token. vLLM verwaltet diesen Speicher mit PagedAttention in kleinen Blöcken und verschwendet dadurch kaum Platz. Planen Sie 20 bis 40 Prozent zusätzlich zu den Gewichten ein – bei langen RAG-Kontexten und vielen parallelen Nutzern eher mehr.

ModellParameterFP16/BF16FP8/INT8INT4/AWQKV-Cache je Anfrage mit 8.192 Tokens
Llama 3.1 8B8,0 Mrd.≈ 16 GB≈ 8 GB≈ 5–6 GB≈ 1,0 GB
Mistral NeMo 12B12,2 Mrd.≈ 25 GB≈ 12 GB≈ 8 GB≈ 1,25 GB
Qwen 2.5 14B14,7 Mrd.≈ 29 GB≈ 15 GB≈ 9–10 GB≈ 1,5 GB
Qwen 2.5 32B32,8 Mrd.≈ 66 GB≈ 33 GB≈ 19 GB≈ 2,0 GB
Llama 3.1 / 3.3 70B70,6 Mrd.≈ 141 GB≈ 71 GB≈ 42 GB≈ 2,5 GB

02

Reale Benchmarks: Was die Hardware tatsächlich schafft

Der Speicher sagt, ob ein Modell lädt – der Durchsatz sagt, wie viele Menschen gleichzeitig damit arbeiten können. Die Werte in der Tabelle stammen aus öffentlich dokumentierten Messungen mit vLLM. Sie hängen stark von Prompt-Länge, Antwortlänge und Konfiguration ab und sind Richtwerte, keine Zusagen.

Faustregel aus den Messungen: Eine L40S erreicht bei Llama 3.1 8B etwa ein Viertel des H100-Durchsatzes (1.207 zu 5.103 Tokens/s im Server-Szenario) – ähnlich dem Verhältnis der Speicherbandbreite von 864 GB/s zu 3,35 TB/s. Für die Geschwindigkeit einer einzelnen Antwort gilt grob: Speicherbandbreite geteilt durch Modellgröße im Speicher. Eine L40S liefert für ein 8-GB-Modell also höchstens rund 100 Tokens/s pro Anfrage.

Für Mistral NeMo 12B auf der L40S gibt es keine unabhängig reproduzierbare Messung. Nach Größe und Architektur liegt das Modell zwischen Llama 3.1 8B und Qwen 2.5 14B.

Modell & PräzisionHardwareMesswertQuelle
Llama 3.1 8B, FP81× H1005.777 Tokens/s (Offline), 5.103 Tokens/s (Server)MLPerf Inference v5.1, Red Hat, Okt. 2025
Llama 3.1 8B, FP81× L40S1.642 Tokens/s (Offline), 1.207 Tokens/s (Server)MLPerf Inference v5.1, Red Hat, Okt. 2025
Llama 3.3 70B, FP81× H1001.496 Tokens/s pro GPU bei 50 Tokens/s je Nutzer (8k Eingabe, 1k Ausgabe); Spitze 2.568 Tokens/sSemiAnalysis InferenceX, Okt. 2025
Qwen 2.5 32B, AWQ1× RTX 3090 (24 GB)rund 42 Tokens/s für eine einzelne Anfrage; Gewichte 18 GiBCaleb Coffie, vLLM 0.21

03

GPU-Auswahl: L40S, H100/H200 oder Mac Studio?

Für Unternehmen stehen meist drei Klassen zur Wahl. Entscheidend sind Speichergröße, Speicherbandbreite, die Verbindung zwischen den GPUs und die Leistungsaufnahme im Rechenzentrum.

Die NVIDIA L40S ist passiv gekühlt, passt in Standardserver von Dell oder HPE und rechnet in FP8. Für Modelle bis 32 Milliarden Parameter ist sie in der Praxis der Preis-Leistungs-Sieger bei der Inferenz; 70B-Modelle laufen mit zwei bis vier Karten.

H100 und H200 spielen ihre Stärke erst bei 70B-Modellen, langen Kontexten und vielen gleichzeitigen Nutzern aus: HBM-Speicher mit hoher Bandbreite und NVLink zwischen den GPUs. Eine H200 hält ein 70B-Modell in FP8 komplett und hat danach noch rund 60 GB für den KV-Cache frei.

Mac Studio und andere Edge-Hardware eignen sich, um Anwendungsfälle mit Ollama oder llama.cpp in wenigen Tagen zu erproben – dank viel gemeinsamem Speicher auch mit großen Modellen. Für den Mehrbenutzerbetrieb fehlen Durchsatz und das CUDA-Ökosystem.

NVIDIA L40SNVIDIA H100 / H200Mac Studio (M3 Ultra) / Edge
Speicher48 GB GDDR680 GB HBM3 / 141 GB HBM3ebis 512 GB gemeinsamer Arbeitsspeicher
Bandbreite864 GB/s3,35 TB/s (H100 SXM) / 4,8 TB/s (H200)819 GB/s
VerbindungPCIe Gen4, kein NVLinkNVLink mit 900 GB/s (SXM)keine, ein Gerät
Leistung350 W je GPUbis 700 W je GPU (SXM), PCIe-Varianten 350–400 Wmax. 480 W für das ganze Gerät
StärkeInferenz von 8B bis 32B, 70B mit 2–4 GPUsgroße Modelle, lange Kontexte, viele Nutzer bei niedriger LatenzPiloten, Entwicklung, Einzelplätze
GrenzeTensor Parallelism nur über PCIePreis, Strom und Kühlung (HGX-Server bis rund 10 kW)kein CUDA, wenige parallele Nutzer

04

Inferenz-Engines: vLLM, Triton oder Ollama?

vLLM ist der De-facto-Standard für den Produktivbetrieb offener Modelle. Continuous Batching nimmt neue Anfragen auf, sobald im laufenden Batch Platz frei wird; PagedAttention verwaltet den KV-Cache blockweise; Prefix Caching spart Rechenzeit bei wiederkehrenden System-Prompts. Über die OpenAI-kompatible API stellen Sie bestehende Anwendungen um, indem Sie nur die Basis-URL ändern.

NVIDIA Triton Inference Server ist ein allgemeiner Modellserver für viele Frameworks. Mit dem TensorRT-LLM-Backend erreicht er sehr niedrige Latenzen, verlangt aber, dass Modelle für jede GPU-Generation kompiliert werden. Triton lohnt sich, wenn neben LLMs auch Embedding-, Klassifikations- oder Bildmodelle auf derselben Plattform laufen oder jede Millisekunde zählt.

Ollama baut auf llama.cpp auf und startet ein Modell mit einem Befehl. Für Entwicklung, Piloten und Einzelplätze ist das ideal; für viele gleichzeitige Nutzer fehlen Durchsatz und Betriebsfunktionen.

KriteriumvLLMTriton + TensorRT-LLMOllama
EinsatzProduktion, viele NutzerProduktion, gemischte Modelle, minimale LatenzEntwicklung, Pilot, Edge
BatchingContinuous BatchingIn-flight Batchingbegrenzte Parallelität
SchnittstelleOpenAI-kompatibelHTTP/gRPC, OpenAI-Frontend verfügbareigene API und OpenAI-kompatibler Endpunkt
QuantisierungFP8, AWQ, GPTQ u. a.FP8, INT8, INT4 nach KompilierungGGUF-Formate
Aufwandgeringhochsehr gering

05

Kubernetes-Architektur: GPU Operator, KEDA und Chat-Oberfläche mit SSO

Ab mehr als einem Server empfehlen wir Kubernetes – on-premise etwa mit RKE2 oder OpenShift, in einer souveränen Cloud zum Beispiel mit Scaleway Kapsule. Die Architektur besteht aus wenigen, bewährten Bausteinen:

  1. 1NVIDIA GPU Operator: installiert Treiber, Container Toolkit, Device Plugin und DCGM-Exporter automatisch auf jedem GPU-Knoten.
  2. 2vLLM als eigenes Deployment je Modell; die Gewichte kommen aus einem lokalen Modell-Cache (Persistent Volume oder S3-kompatibler Objektspeicher), damit ein Neustart nicht aus dem Internet lädt.
  3. 3KEDA skaliert die vLLM-Replikas anhand der Prometheus-Metrik vllm:num_requests_waiting (Warteschlange) und der KV-Cache-Auslastung – nicht anhand der CPU, die bei GPU-Last nichts aussagt.
  4. 4Ein LLM-Gateway wie LLMrouter.eu bündelt alle Modelle hinter einer Schnittstelle, setzt Budgets und Rechte durch und protokolliert jeden Aufruf.
  5. 5Open WebUI oder LibreChat als Chat-Oberfläche mit Single Sign-on über OpenID Connect, etwa mit Microsoft Entra ID oder Keycloak, und Gruppen für die Modellfreigabe.
  6. 6Monitoring mit Prometheus und Grafana: Time-to-First-Token, Tokens pro Sekunde, Warteschlange, GPU-Auslastung und Temperatur.

06

TCO: Was kostet ein On-Premise-LLM für 50, 100 und 500 Nutzer?

Die Rechnung vergleicht vier Wege für ein Modell der 70B-Klasse in FP8, etwa Llama 3.3 70B. Alle Werte sind Monatskosten netto bei 36 Monaten Laufzeit. Sie beruhen auf offen ausgewiesenen Annahmen und ersetzen kein Angebot.

Annahmen: Zur Spitzenzeit stellen 30 Prozent der Nutzer gleichzeitig eine Anfrage. Ein Server mit 4× L40S schafft nach den Messwerten oben rund 20 gleichzeitige Antworten in flüssiger Lesegeschwindigkeit, ein HGX-Server mit 8× H100 rund 200. Hardware: Server mit 4× L40S von Dell oder HPE 75.000 €, HGX-Server mit 8× H100 300.000 €, jeweils über 36 Monate abgeschrieben. Strom 0,25 €/kWh bei einer PUE von 1,4 und einer mittleren Last von 1,8 kW (L40S-Server) bzw. 7 kW (HGX); Colocation 350 € bzw. 1.000 € pro Monat.

Cloud-GPU zu Listenpreisen von Scaleway im Dauerbetrieb: L40S 1,47 € pro GPU-Stunde, 8× H100 SXM 25,33 € pro Stunde. Token-API: pro Nutzer 2,5 Mio. Eingabe- und 0,4 Mio. Ausgabe-Tokens im Monat, das entspricht rund 40 RAG-Anfragen pro Arbeitstag. Preise einer EU-API (Mistral Large 4: 0,70 bzw. 2,10 US-$ pro Mio. Tokens) und eines Premium-Modells (Annahme: 3 bzw. 15 US-$), umgerechnet mit 1 US-$ = 0,90 €.

Nicht enthalten ist der Plattformbetrieb – Updates, Monitoring, Modellwechsel, Bereitschaft. Er fällt bei eigener Hardware und Cloud-GPU gleichermaßen an, bei einer Token-API größtenteils nicht.

Monatlich50 Nutzer100 Nutzer500 Nutzer
Gleichzeitige Anfragen (Spitze)≈ 15≈ 30≈ 150
Hardware on-premise1 Server, 4× L40S2 Server, je 4× L40S1 HGX-Server, 8× H100
Token-Volumen≈ 145 Mio.≈ 290 Mio.≈ 1,45 Mrd.
On-premise: Abschreibung (CAPEX)≈ 2.080 €≈ 4.170 €≈ 8.330 €
On-premise: Strom, Kühlung, Colocation (OPEX)≈ 810 €≈ 1.620 €≈ 2.790 €
On-premise gesamt≈ 2.900 €≈ 5.800 €≈ 11.100 €
Cloud-GPU (Scaleway, 24/7)≈ 4.300 €≈ 8.600 €≈ 18.500 €
Token-API EU (Mistral Large 4)≈ 120 €≈ 230 €≈ 1.170 €
Token-API Premium-Modell≈ 610 €≈ 1.220 €≈ 6.080 €

07

Break-Even: Ab wann sich eigene GPUs rechnen

Das Ergebnis ist eindeutig: Für reine Chat-Nutzung ist eine Token-API in allen drei Szenarien günstiger. Chat-Nutzer erzeugen Lastspitzen am Vormittag, aber wenig Volumen – die GPUs stehen die meiste Zeit still.

Rechnet man nur über die Kosten, liegt die Gewinnschwelle eines Servers mit 4× L40S (≈ 2.900 € im Monat) gegenüber dem Premium-Modell (≈ 4,20 € pro Mio. Tokens im Mix) bei rund 700 Mio. Tokens im Monat, mit Plattformbetrieb ab 3.900 € bei rund 1,6 Mrd. Gegenüber einer günstigen EU-API (≈ 0,80 € pro Mio. Tokens) läge sie bei über 3,6 Mrd. Tokens – kaum weniger, als ein solcher Server bei Volllast rund um die Uhr überhaupt verarbeitet.

Eigene GPUs rechnen sich damit in drei Fällen: bei Dauerlast rund um die Uhr, etwa durch Agenten oder Dokumentenverarbeitung mit Milliarden Tokens im Monat; im Vergleich mit Premium-Modellen, wenn ein offenes Modell die Aufgabe gleich gut löst; und – im Mittelstand der häufigste Grund – wenn Daten aus rechtlichen oder vertraglichen Gründen das eigene Rechenzentrum nicht verlassen dürfen. Dann ist on-premise keine Spar-, sondern eine Compliance-Entscheidung.

Bewährt hat sich ein hybrider Ansatz: Ein Gateway wie LLMrouter.eu leitet vertrauliche Anfragen an das lokale Modell und unkritische an eine EU-API. So bleibt die eigene Hardware gut ausgelastet, ohne für seltene Spitzen überdimensioniert zu werden.

≈ 0,7 Mrd.

Tokens pro Monat: Gewinnschwelle 4× L40S gegenüber Premium-API (nur Infrastruktur)

≈ 1,6 Mrd.

Tokens pro Monat: Gewinnschwelle inklusive Plattformbetrieb

≈ 3,9 Mrd.

Tokens pro Monat: Kapazität von 4× L40S bei Volllast (≈ 1.500 Tokens/s)

08

Quellen und Annahmen

Messwerte und Listenpreise stammen aus öffentlich zugänglichen Quellen, Stand November 2026. Serverpreise sind Annahmen und schwanken je nach Konfiguration und Liefersituation stark; holen Sie für Ihre Planung Angebote ein.

  1. MLPerf Inference v5.1 – Ergebnisse von Red Hat mit vLLM: redhat.com
  2. SemiAnalysis InferenceX – Llama 3.3 70B auf H100: inferencex.semianalysis.com
  3. Qwen 2.5 32B AWQ mit vLLM: calebcoffie.com
  4. Scaleway – Preise für L40S- und H100-Instanzen: L40S-Instanz · GPU-Preise
  5. Mistral – API-Preise: docs.mistral.ai
  6. Schichten, KV-Köpfe und Parameterzahlen – offizielle Modellkonfigurationen: Hugging Face

09

Wie MAKONIS unterstützt

Wir dimensionieren On-Premise-LLMs anhand eines Lastprofils mit Ihren echten Anfragen statt allein mit Faustwerten: Modellwahl, GPU-Typ, Anzahl der Server, Kubernetes-Architektur und eine TCO-Rechnung mit Ihren Strom- und Rechenzentrumskosten.

Den Aufbau übernehmen wir mit vLLM, GPU Operator, KEDA, LLMrouter.eu und Open WebUI oder LibreChat – auf Ihrer Hardware, in einem europäischen Rechenzentrum oder hybrid. Den laufenden Betrieb bieten wir als Managed Sovereign AI ab 3.900 € pro Monat aus der EU an.

Häufige Fragen

Für interaktive Chats sollte die Antwort nach weniger als einer Sekunde beginnen und danach mit mindestens 20 bis 30 Tokens pro Sekunde fließen – deutlich schneller, als Menschen lesen. Die Time-to-First-Token hängt vor allem von der Prompt-Länge und der Warteschlange ab, denn lange RAG-Kontexte müssen erst verarbeitet werden. Prefix Caching in vLLM, kürzere Kontexte und genügend Replikas halten sie niedrig.

Weiterlesen

KI

Ratgeber · 7 Min. Lesezeit

LLM lokal betreiben: Leitfaden für Unternehmen

Ein LLM lokal zu betreiben heißt, ein Sprachmodell auf eigener oder dedizierter Infrastruktur auszuführen, sodass Eingaben und Daten das Unternehmen nicht verlassen. Dafür braucht es ein passendes Open-Weight-Modell, ausreichend GPU-Speicher, eine Inferenz-Software, eine Anbindung an Unternehmenswissen (RAG) sowie Zugriffskontrolle und Protokollierung.

Weiterlesen
KI

Ratgeber · 7 Min. Lesezeit

KI-DSGVO-Checkliste und EU AI Act für den Mittelstand

Für den DSGVO-konformen KI-Einsatz brauchen Unternehmen eine Rechtsgrundlage, Transparenz gegenüber Betroffenen, einen Auftragsverarbeitungsvertrag mit dem KI-Anbieter, Kontrolle über Datenstandort und Speicherung sowie eine Datenschutz-Folgenabschätzung bei hohem Risiko. Der EU AI Act ergänzt das um risikobasierte Pflichten; für die meisten Anwendungen im Mittelstand sind vor allem KI-Kompetenz der Mitarbeitenden und Transparenzpflichten relevant. Dieser Artikel ersetzt keine Rechtsberatung.

Weiterlesen
KI

Ratgeber · 9 Min. Lesezeit

SaaS-Replacement mit KI: Wann sich der Eigenbau rechnet – am Beispiel Calendly

SaaS-Replacement mit KI heißt: Ein eng umrissenes SaaS-Werkzeug wird durch eine eigene, mit KI-Coding-Agents gebaute Anwendung ersetzt, die in Ihrer eigenen Cloud-Umgebung läuft. Das rechnet sich vor allem bei Preisen pro Nutzer, überschaubarem Funktionsumfang und hohen Sicherheitsanforderungen. Im Rechenbeispiel einer Terminbuchung wie Calendly mit 60 Gastgebern und SSO-Pflicht kostet der Eigenbau über drei Jahre rund die Hälfte – bei 10 Nutzern lohnt er sich dagegen nicht.

Weiterlesen

Innovation aus München.Weltweit tätig.

Sprechen Sie mit uns über Ihre Cloud-, DevOps- und AI-Vorhaben — unverbindlich und direkt mit unseren Engineers.