Token
Kleinste Verarbeitungseinheit, in die ein Sprachmodell Text zerlegt.
Definition
Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet. Ein Token entspricht häufig einem Wortteil, einem ganzen Wort oder einem Satzzeichen. Sowohl die Eingabe als auch die Ausgabe eines Modells werden in Token gemessen.
Warum das wichtig ist
Die Kosten, die Verarbeitungsgeschwindigkeit und die maximale Textlänge eines Modells hängen direkt von der Anzahl der Token ab. Wer Token versteht, kann Anwendungen effizienter gestalten und Aufwände realistischer einschätzen.
Vidasus-Kontext
Bei der Entwicklung von KI-Anwendungen kalkulieren wir Token-Verbrauch und Antwortzeiten mit ein, damit Lösungen im laufenden Betrieb tragfähig bleiben.
Beispiel
Der Satz "Wir prüfen Ihre Anfrage" wird von einem Modell nicht als vier Wörter, sondern in mehrere Token zerlegt, deren Anzahl je nach Sprache und Modell variiert.