题目内容

实现一个 Transformer Encoder Block 的前向计算。

给定输入 $X$（$L \times d$），依次执行以下操作：

1. Multi-Head Self-Attention：将 $X$ 通过 $W_q, W_k, W_v$（$d \times d$）投影，分成 $h$ 个头，每个头做 Scaled Dot-Product Attention，拼接后通过 $W_o$（$d \times d$）投影。
2. 残差连接 + Layer Normalization：$X_1 = \mathrm{LayerNorm}(X + \mathrm{MHA}(X))$。
3. Feed-Forward Network：两层全连接 $\mathrm{FFN}(x) = \mathrm{ReLU}(xW_1 + b_1)W_2 + b_2$，其中 $W_1$（$d \times d_{ff}$）、$W_2$（$d_{ff} \times d$）。
4. 残差连接 + Layer Normalization：$X_2 = \mathrm{LayerNorm}(X_1 + \mathrm{FFN}(X_1))$。

输出最终的 $X_2$。Layer Normalization 的参数 $\gamma = 1, \beta = 0$（即仅做归一化），$\varepsilon = 10^{-5}$。

输入描述

第一行包含三个整数 $L, d, h$（$1 \le L \le 8$，$2 \le d \le 8$，$d$ 能被 $h$ 整除），以及一个整数 $d_{ff}$（$1 \le d_{ff} \le 16$）。

接下来依次输入（均为浮点数，空格分隔）：$X$（$L \times d$）、$W_q$（$d \times d$）、$W_k$（$d \times d$）、$W_v$（$d \times d$）、$W_o$（$d \times d$）、$W_1$（$d \times d_{ff}$）、$b_1$（$1 \times d_{ff}$）、$W_2$（$d_{ff} \times d$）、$b_2$（$1 \times d$）。

输出描述

输出 $L$ 行，每行 $d$ 个浮点数，表示 Transformer Encoder Block 的输出，保留 $4$ 位小数。

样例 $1$

输入

2 4 2 8
1.0 0.0 1.0 0.0
0.0 1.0 0.0 1.0
0.5 0.0 0.0 0.5
0.0 0.5 0.5 0.0
0.0 0.0 0.5 0.5
0.5 0.5 0.0 0.0
0.0 0.5 0.0 0.5
0.5 0.0 0.0 0.5
0.0 0.0 0.5 0.5
0.0 0.0 0.0 1.0
0.0 0.5 0.5 0.0
0.0 0.0 0.5 0.5
0.0 1.0 0.0 0.0
0.0 0.0 1.0 0.0
0.0 0.0 0.0 1.0
0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1
0.1 0.1 0.1 0.1
0.0 0.0 0.0 0.0

输出

0.9915 -1.1754 0.9915 -0.8076
-0.9939 1.1495 -0.9939 0.8384