会员专享
请先
登录，登录后可使用今日免费解锁；
开通会员后可解锁完整内容。
解题思路
这是一个 Post-Norm 的 Encoder Block。先把 X 投影成 Q,K,V，按 h 拆头。每个头做 softmax(QK⊤/dk)V，拼起来再乘 WO。softmax 前减去每一行的最大值，避免指数溢出。
残差之后做 LayerNorm。均值和方差都沿最后一维计算，方差除以 dmodel，分母是 var+eps。
前馈是两层线性，中间加 ReLU。再和第一层 LayerNorm 的输出相加，做第二次 LayerNorm。注意力投影没有偏置。
