Tokenisierung
Zerlegung von Text in Token als Vorstufe der Verarbeitung durch ein Modell.
Definition
Tokenisierung ist der Verarbeitungsschritt, in dem ein Text in einzelne Token zerlegt wird, bevor ihn ein Sprachmodell verarbeitet. Die Art der Zerlegung hängt vom jeweiligen Modell ab und beeinflusst, wie Text intern dargestellt wird.
Warum das wichtig ist
Die Tokenisierung bestimmt mit, wie viele Token ein Text verbraucht und damit Kosten, Geschwindigkeit und die Ausnutzung des Context Windows. Sie ist ein oft unterschätzter, aber praktisch relevanter Aspekt.
Vidasus-Kontext
Bei der Entwicklung berücksichtigen wir die Tokenisierung, um Datenformate und Prompts so zu gestalten, dass Anwendungen effizient bleiben.