题目内容

在Transformer模型中，Multi-Head Self-Attention是核心组件，用于捕捉序列中的依赖关系。你需要从头实现一个Masked Multi-Head Self-Attention函数，支持自注意力（即queries、keys和values来自同一输入序列），并处理编码（mask）以防止未来位置的信息泄露（常见于Decoder中）。

具体要求：

• 支持多头注意力：将注意力机制并行分成多个"头"，每个头学习不同的注意力模式，增强模型对多维度特征的捕捉能力。
• 计算过程：
  1. 生成Q、K、V矩阵 对输入序列X（维度：[batch_size, seq_len, d_model]）通过3个线性层分别生成查询（Query, Q）、键（Key, K）、值（Value, V）矩阵：（$Q = X \cdot W_Q$，$K = X \cdot W_K$，$V = X \cdot W_V$），其中 $W_Q, W_K, W_V \in \mathbb{R}^{d_{model} \times d_{model}}$。