本题要求 必须为恰好 N 次查询选择模型,并且总延迟不能超过 T,目标是最大化总准确率。
同一个模型可以被多次选择,因此每一次查询都可以从所有模型中重新选择一个模型。
可以使用 动态规划。
定义状态:
在大语言模型推理服务中,有多个不同大小的模型版本可供选择。每个模型版本有不同的准确率和推理延迟。给定查询次数 N 和总时间预算 T,为每个查询选择一个模型版本,使得在不超过时间预算的前提下,总准确率最大。
最大总准确率
输入
2,4,{80, 90, 95},{1,2,3}
输出
180
说明
最优选择为选取两个准确率为 90 的模型,总耗时为 4,总准确率为 180。
输入
2,2,{80, 90, 95},{2,2,3}
输出
0
说明
无法有效选到要求的 2 个模型,因此总准确率为 0
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册