一、单选题
1
答案：B
Tokenizer 把文本切成 token 并映射为整数 ID，供后续嵌入层使用。渲染成点阵、对齐音素谱、输出句法树都不是分词器的职责。
2
答案：A
一、单选题
1、园区门禁日志要写入检索库。入库前需把每条自然语言记录切成模型可消费的离散记号。Tokenizer 的主要作用是：
{{ select(1) }}
- 把字符渲染成点阵图再送入卷积
- 把文本分成整数 ID 序列
- 把句子强制对齐到音素谱
- 直接输出依存句法树
2、夜班质检从一批零件中随机抽 m=10 件，每件为次品的概率为 π=0.3，记次品件数为 K∼Binomial(m=10, π=0.3)。则 E[K2] 为：
{{ select(2) }}
