Tokens

Von /
« Back to Glossary Index

Im Kontext der Künstlichen Intelligenz KI, insbesondere bei der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), sind Tokens die kleinsten sinnvollen Einheiten eines Textes, die von Sprachmodellen wie GPT genutzt werden. Sie dienen als Bausteine für die Analyse, Interpretation und Generierung von Texten.

Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. https://doi.org/10.18653/v1/P16-1162

« Back to Glossary Index