解题思路
核心思路
本题要求实现一个带容量上限 K 的 KV Cache 管理器，核心操作是在插入新 token 时，若缓存超出容量则淘汰注意力分数最低的 token（分数相同则淘汰位置编号较小者），并在查询时按位置升序输出所有缓存项。
需要维护两种检索需求：
- 快速找到分数最小的 token（用于淘汰）：使用最小堆或平衡二叉搜索树，以 (score,pos) 为键，每次淘汰时取堆顶（或集合首元素）即可得到当前分数最低的 token。
- 按位置升序输出（用于查询）：由于输入的 token 位置严格递增，所有被插入缓存的位置天然有序，查询时只需对字典的键排序即可。
题目内容
在大语言模型（LLM）的自回归推理中，KV Cache 用于缓存历史 token 的 Key 和 Value 张量，其显存占用随序列长度线性增长。为支持长上下文，工业界采用动态稀疏策略：设定容量上限 K，仅保留注意力分数最高的 K 个 token，超出时淘汰分数最低者。
任务描述
实现一个稀疏 KV Cache 管理器，支持：
