计算新的 RoPE 基底
题目给出的 NTK-aware 缩放公式为:
base_new=10000×scaleD−2D实现 NTK-aware RoPE 缩放,用于长上下文外推。
标准 RoPE 在处理超过训练上下文长度的序列时,性能可能下降。NTK-aware 缩放通过调整 RoPE 的基础频率,在保留高频维度的同时拉低低频维度,从而实现无需微调的长度外推。
首先根据上下文长度比例计算新的 RoPE 基底:
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册