ChatGPT mit eigenen Daten trainieren: RAG oder Fine-Tuning?

Wer „ChatGPT mit eigenen Daten trainieren“ sucht, will in den meisten Fällen etwas anderes: einen Assistenten, der Fragen aus den eigenen Handbüchern, Richtlinien und Tickets beantwortet. Dafür wird kein Modell trainiert, sondern Retrieval-Augmented Generation (RAG) eingesetzt: Das System sucht bei jeder Frage die passenden Abschnitte in Ihren Dokumenten und lässt das Sprachmodell daraus mit Quellenangabe antworten. Fine-Tuning oder ein eigenes Modell lohnen sich nur in eng umrissenen Fällen.

Dieser Artikel ordnet die vier Wege ein, mit denen Sie KI mit eigenen Daten nutzen können. Er erklärt in einfachen Worten, wie RAG funktioniert und wann welcher Weg passt. Grundlage ist neben der Fachliteratur die Praxis unseres Gründers mit einem produktiven RAG-Assistenten über Diagnoseinhalte.

Vier Wege, KI mit eigenen Daten zu nutzen

Hinter „mit eigenen Daten trainieren“ stecken technisch sehr unterschiedliche Dinge. Der Unterschied entscheidet über Aufwand, Aktualität und darüber, ob Sie einer Antwort trauen können.

Ein eigenes Modell von Grund auf trainieren

Ein großes Sprachmodell (Large Language Model, LLM) lernt Sprache und Weltwissen aus riesigen Textmengen. Das erfordert Rechenleistung und Datenmengen, die für ein mittelständisches Unternehmen weder bezahlbar noch sinnvoll sind. Für einen Wissensassistenten scheidet dieser Weg praktisch aus.

Fine-Tuning

Beim Fine-Tuning wird ein vorhandenes Modell mit Beispielpaaren aus Eingabe und gewünschter Ausgabe nachtrainiert. Dabei ändern sich die Gewichte des Modells, also seine internen Parameter. Das Modell übernimmt damit vor allem Muster: ein Format, eine Tonalität, eine Einteilung in Kategorien. Fakten lernt es unzuverlässig, es kann keine Quelle nennen, und jede Änderung am Wissen verlangt ein neues Training.

RAG: Nachschlagen statt Auswendiglernen

Bei RAG bleibt das Modell unverändert. Ihr Wissen liegt in einem Suchindex, und zu jeder Frage werden die relevanten Abschnitte dem Modell als Kontext mitgegeben. Das Verfahren geht auf die Arbeit Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks von Lewis et al. (2020) zurück und ist heute der übliche Ansatz für Assistenten über Firmenwissen.

Eigene GPTs, Projekte und Konnektoren in Business-Tarifen

In ChatGPT Business und Enterprise und in vergleichbaren Tarifen anderer Anbieter können Sie Dateien hochladen und eigene Assistenten mit festen Anweisungen anlegen. Technisch ist das ebenfalls eine Form von Retrieval. Bei hochgeladenen Dateien haben Sie allerdings keinen Einfluss auf die Suche, keine dokumentgenauen Berechtigungen und keine eigene Qualitätsmessung. Zusätzlich lassen sich in diesen Tarifen verbreitete Dokumentablagen über Konnektoren anbinden, die laut Anbieter die bestehenden Zugriffsrechte übernehmen. Bei OpenAI heißt das Company Knowledge und liefert Antworten mit Quellenverweisen. Laut OpenAI (Stand: September 2026) werden Daten aus ChatGPT Business, ChatGPT Enterprise und der API standardmäßig nicht zum Training der Modelle verwendet.

Die vier Wege im Vergleich

Wie funktioniert RAG? In einfachen Worten

Stellen Sie sich eine Prüfung mit offenem Buch vor. Das Sprachmodell muss die Antwort nicht auswendig wissen, es bekommt die richtigen Seiten aufgeschlagen hingelegt und formuliert daraus die Antwort. Die Qualität hängt deshalb vor allem davon ab, ob die richtigen Seiten gefunden werden. Ein RAG-Assistent arbeitet in vier Schritten:

1. Aufbereiten. Dokumente aus Dokumentablagen, Wikis und Ticketsystemen werden über deren Schnittstellen eingelesen und in Abschnitte zerlegt (Chunking). Jeder Abschnitt behält Titel, Version, Quelle und Zugriffsrechte.
2. Indexieren. Ein Embedding-Modell rechnet jeden Abschnitt in einen Vektor um, eine Zahlenreihe, die seine Bedeutung abbildet. Die Vektoren landen in einem Suchindex.
3. Suchen. Stellt ein Nutzer eine Frage, wird sie ebenfalls in einen Vektor umgerechnet. Die Vektorsuche findet die Abschnitte mit der ähnlichsten Bedeutung, oft ergänzt um eine klassische Stichwortsuche für Fachbegriffe und Abkürzungen.
4. Antworten. Das Modell erhält die Frage und die bestbewerteten Abschnitte, meist nur eine Handvoll, mit der Anweisung, nur daraus zu antworten und die Quelle zu nennen. Reichen die Treffer nicht, sagt der Assistent das, statt zu raten.

Ändert sich ein Dokument, werden nur dessen Abschnitte neu indexiert. Das Modell bleibt, wie es ist.

RAG oder MCP?

Das Model Context Protocol (MCP) ist ein offener Standard, über den KI-Anwendungen an externe Systeme angebunden werden: Datenquellen, Werkzeuge und Abläufe. Die beiden Ansätze konkurrieren nicht. RAG beantwortet Fragen aus einem vorbereiteten Wissensbestand. MCP gibt einem Assistenten Zugriff auf Funktionen, etwa den aktuellen Status eines Auftrags im ERP-System abzufragen oder ein Ticket anzulegen. Ein Assistent kann beides nutzen: Richtlinien per RAG nachschlagen und Live-Daten über eine Schnittstelle holen.

Eigene Daten vorbereiten: die Wissensbasis aufbauen

Wer KI mit eigenen Daten füttern will, beginnt bei den Quellen. Was dort veraltet, doppelt oder unlesbar ist, findet auch der Assistent. Diese fünf Punkte gehören vor die erste Indexierung:

• Texte lesbar machen. Gescannte PDFs brauchen eine Texterkennung (OCR). Tabellen und Abbildungen werden gesondert aufbereitet, weil sie beim einfachen Auslesen oft ihre Struktur verlieren.
• Aufräumen. Veraltete Fassungen und Dubletten werden vor der Indexierung entfernt. Jede Quelle bekommt eine Version und ein Gültig-ab-Datum, damit der Assistent nicht aus einer überholten Fassung zitiert.
• Sinnvoll schneiden. Abschnitte werden an Überschriften getrennt statt nach fester Zeichenzahl. Dokumenttitel und Kapitel gehen als Kontext mit jedem Abschnitt in den Index.
• Aktualisierung festlegen. Je Quelle wird ein Rhythmus bestimmt, etwa nächtlich oder bei jeder Änderung im Quellsystem.
• Zuständigkeit klären. Für jede Quelle gibt es eine benannte Person, die Inhalte pflegt und gemeldete Fehlantworten prüft.

Wann Fine-Tuning oder ein eigenes Modell doch sinnvoll ist

Fine-Tuning spielt seine Stärken aus, wenn das Modell ein Verhalten lernen soll und kein Wissen:

• Festes Ausgabeformat. Ein Assistent soll Meldungen immer in dieselbe strukturierte Form bringen, und Prompting allein liefert das nicht zuverlässig genug.
• Klassifikation in großer Menge. Eingehende Texte sollen einer von zwanzig Kategorien zugeordnet werden. Ein kleineres, nachtrainiertes Modell ist dafür oft schneller und günstiger als ein großes Modell mit langem Prompt.
• Tonalität und Fachsprache. Antworten sollen konsequent dem Stil eines Hauses folgen.

Auch dann bleibt die Reihenfolge meist: erst Prompting und RAG ausreizen, Fine-Tuning erst, wenn Messwerte zeigen, dass es nötig ist.

Ein eigenes Modell zu trainieren ist sinnvoll, wenn die Aufgabe keine Sprachaufgabe ist, sondern eine Vorhersage aus strukturierten Daten. Ein Beispiel aus einem Projekt unseres Gründers bei einem Premium-Automobilhersteller, außerhalb von Amperbytes AI: Auf derselben Diagnose-Plattform, auf der auch der RAG-Assistent läuft, schlägt ein ML-Empfehlungssystem den Nutzern den nächsten sinnvollen Diagnoseschritt vor. Dieses Modell wurde auf den Daten der Plattform trainiert, weil es Muster in Abläufen erkennen muss. Die Frage „Was steht im Handbuch zu diesem Fehlerbild?“ beantwortet dagegen der RAG-Assistent. Beide Ansätze ergänzen sich, sie ersetzen einander nicht.

Eigener GPT oder eigener RAG-Assistent?

Ein eigener GPT im Business-Tarif ist ein guter Einstieg für wenige, selten geänderte Dokumente. Voraussetzung: Alle Nutzer dürfen alles sehen, und der Assistent kann im Chatfenster des Anbieters bleiben. Liegen die Dokumente in einer verbreiteten Dokumentablage, prüfen Sie zuerst, ob ein Konnektor Ihres Tarifs sie samt Zugriffsrechten anbindet. Die Hürde ist gering, und Sie lernen schnell, welche Fragen gestellt werden. Die Anbieter bauen Funktionen wie eigene GPTs, Projekte und Konnektoren laufend um; prüfen Sie vor der Einführung den aktuellen Funktionsumfang Ihres Tarifs.

Ein eigener RAG-Assistent lohnt sich, sobald einer dieser Punkte zutrifft:

• Integration in bestehende Anwendungen. Die Frage entsteht in einer Fachanwendung, und dort soll auch die Antwort erscheinen.
• Messbare Qualität. Der Fachbereich will vor dem Rollout Zahlen sehen, nicht einzelne Beispiele.
• Quellen ohne passenden Konnektor. Das Wissen liegt etwa in Fachanwendungen oder eigenen Datenbanken.
• Berechtigungen, die sich nicht 1:1 aus einer Dokumentablage ergeben. Zum Beispiel Rechte, die an Rollen, Standorten oder Produktlinien hängen.

Wie Sie Kaufprodukte und Eigenentwicklung grundsätzlich gegeneinander abwägen, beschreibt der Artikel KI Build vs. Buy im Mittelstand.

Aus der Praxis: RAG über Diagnoseinhalte

Unser Gründer hat in verantwortlicher Rolle bei einem Premium-Automobilhersteller, außerhalb von Amperbytes AI, einen LLM-Assistenten mit Retrieval über Diagnoseinhalte in Produktion gebracht. Die Diagnose-Plattform nutzen über 15.000 Menschen pro Monat in Werken, Remote-Software-Update-Services und Aftersales. Das Projekt wurde nicht im Auftrag von Amperbytes AI umgesetzt, prägt aber, wie wir heute solche Assistenten bauen.

Drei Entscheidungen aus diesem Projekt übertragen wir direkt:

• Retrieval statt Modellwissen. Ein Sprachmodell ohne Zugriff auf die eigenen Diagnoseinhalte liefert keine belastbaren Antworten.
• KI-Services mit echten Fragen bewerten. Bevor ein Dienst feststand, wurden die Kandidaten nach Antwortqualität auf echten Diagnosefragen, Kosten, Latenz und Datenschutz verglichen.
• Qualität als Kennzahl. Die Antwortqualität wurde mit definierten Kennzahlen gemessen und in Grafana und Kibana sichtbar gemacht.

Details zum Aufbau stehen im Praxisbeispiel KI-Assistent mit Retrieval für die Fahrzeugdiagnose.

Berechtigungen, Datenschutz und Qualität

Ob ein Assistent mit eigenen Daten im Alltag trägt, entscheidet sich an drei Punkten, die in Demos selten vorkommen.

Berechtigungen im Retrieval

Die Grundregel: Rechte werden in der Suche gefiltert, nicht erst in der Antwort. In der Umsetzung heißt das:

• Rechte als Metadaten. Jeder Abschnitt trägt die Gruppen oder Rollen, die das Quelldokument öffnen dürfen.
• Gruppen abgleichen. Gruppenmitgliedschaften kommen aus der zentralen Benutzerverwaltung (Identity Provider) und werden regelmäßig synchronisiert. So kommt ein Abteilungswechsel auch im Assistenten an.
• Bei Rechteänderungen neu indexieren. Wird ein Ordner enger freigegeben, müssen die Metadaten der betroffenen Abschnitte sofort nachziehen, nicht erst bei der nächsten inhaltlichen Änderung.
• Rechte testen. Das Test-Set enthält Fragen aus Sicht eines Nutzers mit eingeschränkten Rechten. Taucht dabei ein geschützter Abschnitt in den Suchtreffern auf, ist das ein Fehler, der vor dem Rollout behoben sein muss.

Datenschutz

Auch ein Assistent über Produktwissen verarbeitet personenbezogene Daten, spätestens in den Fragen und Protokollen. Rechtsgrundlage, Auftragsverarbeitung, Hosting und Löschfristen behandelt der Artikel DSGVO-konforme LLM-Integration. Die Datenschutzkonferenz hat im Oktober 2025 eine eigene Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode veröffentlicht. Ob und wie ein interner Assistent als KI gekennzeichnet werden muss, beschreibt der Artikel KI-Verordnung im Mittelstand. Stand: 29.09.2026. Dieser Überblick ist keine Rechtsberatung und ersetzt nicht die Prüfung Ihres Einzelfalls durch Ihren Datenschutzbeauftragten.

Qualität messen statt vorführen

Unser Richtwert vor dem ersten Nutzer: ein Test-Set aus mindestens 50 echten Fragen mit Referenzantworten, vom Fachbereich abgenommen. Damit messen Sie, ob die Suche den richtigen Abschnitt findet und ob die Antwort durch die Quellen gedeckt ist. Welche Kennzahlen zählen und wie Sie Halluzinationen erkennen, steht im Artikel RAG-Evaluation: Antwortqualität messen.

Fazit

ChatGPT mit eigenen Daten zu trainieren ist für einen Wissensassistenten fast nie der richtige Weg. RAG lässt das Modell unverändert, hält das Wissen mit jeder Indexierung aktuell und kann jede Antwort mit einer Quelle belegen. Fine-Tuning und eigene Modelle haben ihren Platz bei Formaten, Klassifikation und Vorhersagen aus strukturierten Daten. Ein eigener GPT mit hochgeladenen Dateien reicht für kleine, stabile Dokumentbestände, und Konnektoren der Business-Tarife binden verbreitete Dokumentablagen samt Zugriffsrechten an. Ein eigener RAG-Assistent wird nötig, sobald die Integration in eigene Anwendungen, messbare Qualität oder Quellen ohne passenden Konnektor zählen.

Wenn Sie einen Assistenten über Ihr Firmenwissen planen, zeigt unsere Seite KI-Chatbot für Unternehmen, wie wir solche RAG-Assistenten mit Test-Set und Kennzahlen aufbauen. Für eine erste Einschätzung Ihrer Quellen und Anwendungsfälle nehmen Sie Kontakt mit uns auf.