会员专享
请先
登录，登录后可使用今日免费解锁；
开通会员后可解锁完整内容。
解题思路
本题使用动态 NTK 缩放算法调整 RoPE 的基频，再对向量中每组相邻维度进行二维旋转。
首先根据当前序列长度 T 和原始预训练长度 L 计算缩放因子：
s=max(1,LT)
题目内容
旋转位置编码（RoPE）是一种为序列中每个位置生成旋转角度的位置编码方案。在实际推理时，输入序列长度可能超过模型原始预训练长度。为了缓解长度外推问题，我们使用 Dynamic NTK-aware Scaled RoPE：根据当前输入的真实长度 T 动态调整原始基频 b，再基于调整后的基频计算每个维度的旋转角。
设 T 为当前序列长度，L 为模型原始预训练长度，D 为编码维度，b 为原始基频，m 为当前需要编码的位置下标，x 为位置 m 处的 D 维向量。
计算过程如下：
首先，动态缩放因子定义为
s=max(1,LT)
