解题思路
核心思路是按 Post-LN 顺序模拟一层 Transformer Encoder:权重全部是 4×4 单位阵,因此 Q=K=V=x。把最后一维切成 h=2 个头(每头 dk=2),每个头做缩放点积注意力,拼接后再加残差并做 LayerNorm;FFN 在本题退化为逐元素 ReLU,再加残差并做一次 LayerNorm。
实现方法:
- 读入 8 个数,reshape 成 (1,2,4)。
- 对每个头计算 softmax(QK⊤/dk)V,softmax 先减行最大值。
- LayerNorm 在最后一维上用总体方差(除以 4),ε=10−5。