Warum lokal?
Datenschutz und Vertraulichkeit: Prompts und Dokumente bleiben in der eigenen Umgebung.
Kontrolle: Modellversion, Updates und Verfügbarkeit bestimmen Sie selbst.
Planbare Kosten bei hoher Nutzung, statt Abrechnung pro Token.
Ratgeber
LLM lokal betreiben: Leitfaden für Unternehmen
MAKONIS-Team · · 7 Min. Lesezeit
Kurz gesagt: Ein LLM lokal zu betreiben heißt, ein Sprachmodell auf eigener oder dedizierter Infrastruktur auszuführen, sodass Eingaben und Daten das Unternehmen nicht verlassen. Dafür braucht es ein passendes Open-Weight-Modell, ausreichend GPU-Speicher, eine Inferenz-Software, eine Anbindung an Unternehmenswissen (RAG) sowie Zugriffskontrolle und Protokollierung.
Kostenloses Gespräch vereinbarenDie Bausteine
Modell: Open-Weight-Modelle in verschiedenen Größen; kleinere Modelle reichen oft für klar abgegrenzte Aufgaben.
Inferenz: Software wie vLLM oder vergleichbare Server stellt das Modell über eine API bereit.
Wissensanbindung (RAG): Dokumente werden durchsuchbar gemacht und dem Modell passend zur Frage mitgegeben, unter Beachtung der Berechtigungen.
Oberfläche: Chat-Frontends oder Integration in bestehende Anwendungen.
Betrieb: Monitoring, Protokollierung, Updates und Zugriffskontrolle.
GPU-Dimensionierung
Der GPU-Speicher bestimmt, welche Modellgröße möglich ist. Faustregeln (abhängig von Quantisierung, Kontextlänge und Nutzerzahl):
| Modellgröße | Einsatz | Hardware-Richtwert |
|---|---|---|
| klein (bis ca. 10 Mrd. Parameter) | Klassifikation, Zusammenfassung | eine GPU |
| mittel (ca. 20–70 Mrd.) | Assistenz, RAG, Agenten | eine bis mehrere GPUs mit viel Speicher |
| groß (über 100 Mrd.) | anspruchsvolle Aufgaben | mehrere GPUs bzw. Server |
Typische Fehler
Zu großes Modell gewählt, obwohl ein kleineres mit gutem RAG ausreicht.
Berechtigungen der Quelldokumente werden im RAG nicht berücksichtigt.
Keine Auswertung der Antwortqualität vor dem Rollout.
Fehlende Protokollierung für Nachvollziehbarkeit und Compliance.
Wie MAKONIS unterstützt
Wir planen und betreiben KI-Infrastruktur auf eigener Hardware, in europäischen Rechenzentren oder hybrid und binden Modelle über LLMrouter an. Auf Wunsch übernehmen wir den Betrieb als Managed Sovereign AI.
Häufige Fragen
Nein, aber es erleichtert die Umsetzung deutlich. Zweckbindung, Zugriffsrechte, Löschkonzepte und Dokumentation bleiben notwendig.
Innovation aus München.Weltweit tätig.
Sprechen Sie mit uns über Ihre Cloud-, DevOps- und AI-Vorhaben — unverbindlich und direkt mit unseren Engineers.