题目内容

某自回归解码器对一段已位置编码的 token 序列计算缩放点积自注意力，并施加因果掩码，输出每个位置的融合向量。

记序列长度为 $n$，隐向量维数为 $d$。输入给出 token 矩阵 $X$（$n \times d$）与投影矩阵 $W_Q$、$W_K$、$W_V$（均为 $d \times d$）。令 $Q=X W_Q$，$K=X W_K$，$V=X W_V$， $S=QK^{\top}/\sqrt{d}$。 对 $S$ 施加因果掩码：下标从 $1$ 开始，若 $j>i$，将 $S_{i,j}$ 置为 $0$。再按行归一化得到注意力 $A$：第 $i$ 行元素之和记为 $Z_i$；若 $Z_i=0$，则该行全为 $0$，否则 $A_{i,j}=S_{i,j}/Z_i$。本题归一化不使用 $\exp$。最后 $Y=AV$。

矩阵乘法的每个输出元素、$\sqrt{d}$、分数 $S$、行和 $Z_i$、权重 $A$ 与结果 $Y$ 的每个元素，均在该步计算完成后四舍五入到小数点后 $2$ 位；因果掩码在分数舍入之后、归一化之前执行。