Fine-Tuning (LLM Fine-Tuning)
Anpassung eines vortrainierten LLMs an spezifische Tasks oder Daten.
Definition
Fine-Tuning ist der Prozess, ein vortrainiertes Large Language Model auf spezifischen Daten oder für spezifische Tasks weiterzutrainieren, um es an individuelle Anforderungen anzupassen. Im Gegensatz zu Prompt Engineering (Instruktionen im Prompt) oder Few-Shot Learning (Beispiele im Prompt) modifiziert Fine-Tuning die Modell-Parameter dauerhaft.
Warum das wichtig ist
Fine-Tuning ist sinnvoll, wenn: Prompts zu lang werden (Context Window-Problem), Konsistenz kritisch ist (Markenstimme, Fach-Terminologie), Volume hoch ist (100.000+ Anfragen → Kosten-Effizienz), oder domain-spezifisches Wissen fehlt (Medizin, Recht). Fine-Tuning kann Accuracy von 75% auf 95%+ steigern.
Vidasus-Kontext
Praxis-Beispiel
Ein Rechts-Dienstleister brauchte Vertragsanalyse mit spezifischer Terminologie (deutsches Vertragsrecht). GPT-4 (pre-trained): 78% Accuracy. GPT-4 few-shot: 86% Accuracy. GPT-4 fine-tuned auf 5.000 annotierten Verträgen: 96% Accuracy. Zusätzlich: 60% kürzere Prompts (Terminologie im Modell) = Kostenersparnis.
Technische Details
Prozess: Trainingsdaten sammeln (min. 500-1.000 Beispiele), Annotieren (Input-Output-Paare), Fine-Tuning via OpenAI API / Hugging Face, Evaluation (Holdout-Test-Set), Deployment. Kosten: OpenAI GPT-4 Fine-Tuning: $8-12 per 1M Tokens Training + höhere Inference-Kosten ($0.12/1k vs. $0.03/1k).
Die Säulen
- Use Cases – Domain-Expertise, Markenstimme, spezifische Formate
- Data Requirements – Min. 500-1.000 qualitativ hochwertige Beispiele
- Cost-Benefit – ROI nur bei hohem Volume oder kritischer Accuracy
- Maintenance – Modell muss bei Änderungen neu fine-tuned werden