Tokens

« Back to Glossary Index

Im Kontext der Künstlichen Intelligenz KI, insbesondere bei der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), sind Tokens die kleinsten sinnvollen Einheiten eines Textes, die von Sprachmodellen wie GPT genutzt werden. Sie dienen als Bausteine für die Analyse, Interpretation und Generierung von Texten.

« Back to Glossary Index