题目内容

在大语言模型推理过程中，上下文长度增大时，标准 Attention 的计算代价会以 $O(n^2)$ 增长，成为长序列推理的效率瓶颈。为了缓解这一问题，本题采用一种基于空间连续块的稀疏注意力机制。

给定长度为 $n$ 的历史 token 序列，每个 token 被表示为一个 $d$ 维特征向量 $\mathbf{x}_i$。按照固定块大小 $b$，将序列从左到右划分为 $m=\lceil n/b\rceil$ 个空间连续块 $B_1,B_2,\dots,B_m$，最后一个块可以包含少于 $b$ 个 token。若 token 下标从 0 开始，则第 $k$ 个块包含下标 $(k-1)b$ 到 $\min(kb,n)-1$ 的 token。

对每个块 $B_k$，先对其内部所有 token 向量做平均池化，得到向量 $\mathbf{h}_k$。接着使用一个两层 MLP 对 $\mathbf{h}_k$ 进行非线性压缩。第一层输出维度为 $1$，通过 $W_1\in\mathbb{R}^{1\times d}$ 将 $\mathbf{h}_k$ 映射为标量，并加上偏置 $b_1=2$；经过 ReLU 激活函数 $\sigma(u)=\max(0,u)$ 之后，第二层通过 $W_2\in\mathbb{R}^{d\times 1}$ 将该标量重新扩展为 $d$ 维向量，并对每个分量加上偏置 $b_2=1$。最终得到压缩向量