题目内容

实现 Cross Attention（交叉注意力）算法。

给定查询序列 $X_q$（$L_q \times d$）、键值序列 $X_{kv}$（$L_{kv} \times d$）和投影矩阵 $W_q, W_k, W_v$（各 $d \times d$），按以下步骤计算输出：

1. 投影：$Q = X_q W_q$（来自查询序列），$K = X_{kv} W_k$、$V = X_{kv} W_v$（来自键值序列）。
2. 注意力：$\mathrm{scores} = QK^{\mathsf T} / \sqrt{d}$。
3. 归一化：$\mathrm{weights} = \mathrm{softmax}(\mathrm{scores})$（按行归一化）。
4. 加权聚合：$\mathrm{output} = \mathrm{weights} \cdot V$。

输入描述

第一行包含三个整数 $L_q, L_{kv}, d$（$1 \le L_q, L_{kv} \le 10$，$1 \le d \le 8$），分别表示查询序列长度、键值序列长度、特征维度。

接下来 $L_q$ 行，每行 $d$ 个浮点数，表示查询序列 $X_q$。

接下来 $L_{kv}$ 行，每行 $d$ 个浮点数，表示键值序列 $X_{kv}$。

接下来 $d$ 行，每行 $d$ 个浮点数，表示 $W_q$。

接下来 $d$ 行，每行 $d$ 个浮点数，表示 $W_k$。

接下来 $d$ 行，每行 $d$ 个浮点数，表示 $W_v$。

输出描述

输出 $L_q$ 行，每行 $d$ 个浮点数，表示 Cross Attention 输出，保留 $4$ 位小数。

样例 $1$

输入

2 3 2
1.0 0.0
1.0 1.0
1.0 0.0
0.0 0.0
-1.0 1.0
1.0 0.0
0.0 1.0
1.0 0.0
0.0 1.0
1.0 0.0
0.0 1.0

输出

0.4259 0.7160
0.0000 0.8022

说明

查询序列长度 $L_q = 2$，键值序列长度 $L_{kv} = 3$。

$Q$ 来自 $X_q$（$2 \times 2$），$K, V$ 来自 $X_{kv}$（$3 \times 2$）。注意力矩阵维度为 $(L_q, L_{kv}) = (2, 3)$，每个查询位置关注所有键值位置。

样例 $2$

输入

1 4 3
1.0 2.0 3.0
0.5 0.5 0.5
1.0 1.0 1.0
-1.0 0.0 1.0
0.0 -1.0 0.0
0.0 1.0 0.0
0.0 0.0 0.0
0.0 1.0 0.0
0.0 0.0 1.0
0.0 1.0 0.0
0.0 0.0 0.0
0.0 1.0 0.0
1.0 0.0 0.0
0.0 1.0 0.0
0.0 0.0 1.0

输出

0.7691 0.8387 0.9235

说明

单个查询位置关注 $4$ 个键值位置，输出为 Value 的加权和。