ConceptAI › Deep Learning › Transformer › Token
Token
词元
一句话理解
Token 是模型处理文本等序列时使用的基本离散单元，可以是一个词、词的一部分、字符或符号。
最好理解的例子
unbelievable 可能被切成 un、believ、able。模型看到的是三个 Token ID，而不是原始字符串。
核心机制
- 1
Tokenizer 按词表规则把原始输入切成离散单元。
- 2
每个 Token 被转换为整数 ID。
- 3
Embedding 再把 ID 映射为模型可以计算的向量。
为什么重要
Token 的划分会直接影响词表大小、序列长度、模型成本与信息表达方式。
关键关系
常见误解
Token 不等于“单词”，Token ID 也不等于 Embedding。
知识邻域
AI → Deep Learning → Transformer