会员专享
请先
登录，登录后可使用今日免费解锁；
开通会员后可解锁完整内容。
解题思路
核心思路：分组查询注意力就是带掩码的缩放点积注意力，再让多个 Query 头共用较少的 KV 头。把 Q 按连续列切成 num_q_heads 个形状为 (n,dk) 的头，把 K,V 也按连续列切成 num_kv_heads 个头。题面保证 num_q_heads 能被 num_kv_heads 整除，组大小为
g=num_kv_headsnum_q_heads
第 i 个 Query 头只和第 ⌊i/g⌋ 个 Key 头、Value 头做注意力，再把所有 Query 头的结果按原顺序横向拼接。
每个头的公式与标准缩放点积注意力相同：
