本题使用动态 NTK 缩放算法调整 RoPE 的基频,再对向量中每组相邻维度进行二维旋转。
首先根据当前序列长度 T 和原始预训练长度 L 计算缩放因子:
s=max(1,LT)Dynamic NTK-aware Scaled RoPE 根据当前输入的实际序列长度 T 调整旋转位置编码(RoPE)的基频,实现动态位置内插。
动态缩放因子:s=max(1,LT),其中 T 为当前序列长度,L 为模型原始预训练长度。
基频(Base)变换:将原始基频 b 变换为 b′=b⋅sD/(D−2),其中 D 为编码维度。
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册