逐个预测头计算 logits
对于第 i 个预测头，它的权重矩阵为 heads[i]，形状是 D × vocab_size。
i
heads[i]
D × vocab_size
对每个位置的隐藏状态做线性映射：
实现多 Token 预测（Multi-Token Prediction，MTP）训练损失。
MTP 不只预测下一个 token，而是训练 N 个独立的预测头，从相同的 Transformer 隐藏状态同时预测接下来的 N 个 token，并对所有预测头的交叉熵损失取平均值。
N
本题属于以下题库，请选择所需题库进行购买
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册
