Ein Private LLM ist ein Sprachmodell, das auf Ihrer eigenen Infrastruktur läuft und an Ihre Daten angepasst ist. Wir wählen ein passendes offenes Modell, passen es über Fine-Tuning oder ein RAG-Verfahren an und binden es in Ihre Systeme ein.
Ein Large Language Model, kurz LLM, ist ein Sprachmodell, das Texte versteht und erzeugt. Ein Private LLM ist ein solches Modell, das auf Ihrer eigenen Infrastruktur betrieben wird, statt über eine externe Schnittstelle. Die Anfragen und die darin enthaltenen Daten verlassen das Unternehmen nicht.
Diese Seite beschäftigt sich mit dem Modell selbst und seiner Anpassung. Wo die Anwendung läuft, beschreibt die Seite zu On-Premises KI. Die rechtliche Bewertung des Einsatzes behandelt die Seite zu DSGVO-konformer KI.
Offene Modelle lassen sich on-premises betreiben und an eigene Daten anpassen. Es gibt sie in unterschiedlichen Größen, von kompakten Varianten für einfache Aufgaben bis zu großen Modellen für anspruchsvolle Anwendungsfälle. Der Markt entwickelt sich schnell, deshalb legen wir uns nicht auf eine feste Version fest, sondern wählen das jeweils passende aktuelle Modell.
| Familie | Herkunft | Typischer Einsatz |
|---|---|---|
| Llama | Meta | Breit einsetzbar, gute Grundlage für viele Anwendungsfälle |
| Mistral | Mistral AI | Effizient im Betrieb, auch als kompaktere Varianten |
| Qwen | Alibaba | Starke mehrsprachige Fähigkeiten |
| DeepSeek | DeepSeek | Gut in Aufgaben mit logischen Schritten und Code |
Neben allgemeinen Sprachmodellen setzen wir bei Bedarf spezialisierte Modelle ein, etwa für Code oder für die Suche in Dokumenten. Welches Modell geeignet ist, entscheidet der Anwendungsfall, nicht der Name.
Ein allgemeines Modell kennt Ihre Fachsprache, Ihre Dokumente und Ihre Prozesse nicht. Es gibt zwei Wege, das zu ändern. Oft ist eine Kombination sinnvoll.
Das Modell lernt dauerhaft ein bestimmtes Verhalten oder Fachwissen. Geeignet für Tonalität, wiederkehrende Aufgaben und feste Muster.
Das Modell bleibt unverändert und greift zur Laufzeit auf Ihre Dokumente zu. Geeignet für Inhalte, die sich häufig ändern.
Fine-Tuning für dauerhafte Muster und Tonalität, RAG für aktuelle Fakten. In vielen Anwendungsfällen führt die Kombination beider Wege zum besten Ergebnis.
Mitarbeiter fragen ein Modell, das auf interne Dokumente und Handbücher zugreift, in der Sprache des Unternehmens.
Verträge, Rechnungen und E-Mails werden eingeordnet und die enthaltenen Daten strukturiert ausgelesen.
Anfragen werden auf Basis der eigenen Wissensdatenbank beantwortet, in der Tonalität des Unternehmens.
Ein Modell hilft beim Erstellen, Prüfen und Dokumentieren von Code, ohne dass der Quellcode das Haus verlässt.
Geschäftsdaten werden in natürlicher Sprache abgefragt und zu Berichten zusammengefasst.
Entwürfe und wiederkehrende Texte werden vorbereitet, auf Grundlage vorgegebener Muster.
Ein Sprachmodell, das auf der eigenen Infrastruktur betrieben wird, statt über eine externe Schnittstelle. Die Daten der Anfragen verlassen das Unternehmen nicht.
Offene Modelle, etwa aus den Familien von Meta, Mistral, Qwen oder DeepSeek. Die Auswahl richtet sich nach Anwendungsfall, Sprache und Betriebsumgebung. Da sich der Markt laufend ändert, wählen wir das jeweils passende aktuelle Modell.
Beim Fine-Tuning lernt das Modell dauerhaft ein bestimmtes Verhalten oder Fachwissen. Bei RAG bleibt das Modell unverändert und greift zur Laufzeit auf Ihre Dokumente zu. RAG eignet sich für Inhalte, die sich häufig ändern, Fine-Tuning für dauerhafte Muster und Tonalität.
Für viele Geschäftsanwendungen reichen offene Modelle aus, insbesondere in Verbindung mit einer Anpassung an die eigenen Daten. Welches Modell geeignet ist, hängt vom Anwendungsfall ab. Wir prüfen das anhand Ihrer konkreten Aufgabe.
Im Erstgespräch klären wir Anwendungsfall, Sprache und die passende Anpassung. Die erste Einschätzung ist kostenlos.
Erstgespräch vereinbaren →