Context Window
Maximale Menge an Text, die ein Sprachmodell gleichzeitig berücksichtigen kann.
Definition
Das Context Window bezeichnet die maximale Menge an Token, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig verarbeiten kann. Es umfasst sowohl die Eingabe als auch die erzeugte Antwort. Inhalte, die über diese Grenze hinausgehen, kann das Modell nicht direkt berücksichtigen.
Warum das wichtig ist
Das Context Window bestimmt, wie viel Kontext, etwa ein langes Dokument oder ein Gesprächsverlauf, einem Modell auf einmal zur Verfügung steht. Es ist ein zentraler Faktor bei der Gestaltung von Anwendungen, die mit umfangreichen Dokumenten arbeiten.
Vidasus-Kontext
Wenn Anwendungen mit großen Dokumentbeständen arbeiten, kombinieren wir in der Entwicklung das Context Window mit Verfahren wie RAG, um nur die relevanten Ausschnitte bereitzustellen.