Token (LLM Token)
Grundeinheit der Textverarbeitung in LLMs (Sub-Word-Level).
Definition
Ein Token ist die grundlegende Einheit, in der Large Language Models Text verarbeiten. Tokens sind typischerweise Sub-Word-Level: Häufige Wörter sind 1 Token ("the", "ist"), längere oder seltenere Wörter werden in mehrere Tokens zerlegt ("unbelievable" → "un", "believ", "able"). LLMs "denken" in Tokens, nicht in Wörtern.
Warum das wichtig ist
Tokens bestimmen Kosten, Context Window Limits und Performance von LLM-Anwendungen. OpenAI berechnet nach Tokens ($0.03 per 1k Tokens GPT-4), nicht nach Wörtern. Context Windows sind Token-basiert (128k Tokens). Optimierung von Token-Effizienz = direkte Kostenersparnis und bessere Performance.
Vidasus-Kontext
Praxis-Beispiel
Ein Unternehmen analysierte 100.000 Kundenrezensionen mit GPT-4. Initial: Durchschnittlich 800 Tokens pro Review (inkl. Prompt). Prompt-Optimierung: 450 Tokens. Ersparnis: 35 Millionen Tokens = $1.050 (bei $0.03/1k). Zusätzlich: 40% schnellere Verarbeitung (weniger Tokens = schneller).
Technische Details
Tokenisierung erfolgt via Byte-Pair Encoding (BPE). Tools: OpenAI Tiktoken (Token-Counting), Anthropic Tokenizer. Faustregel: 1 Token ≈ 4 Zeichen ≈ 0.75 Wörter (Englisch), ≈ 0.5 Wörter (Deutsch). 100 Wörter ≈ 133 Tokens (Englisch), ≈ 200 Tokens (Deutsch).
Die Säulen
- Token-Counting – Vor API-Call Tokens zählen (Kosten-Kalkulation)
- Token-Optimization – Prompts kürzen ohne Qualitätsverlust
- Window-Management – Context Window nicht überschreiten
- Cost-Efficiency – Weniger Tokens = niedrigere Kosten