对于第 i 个数据源,选择清洗等级 l 后,会产生三类影响:
清洗等级的花费倍率为:
cost=[0,1,3,6]某大语言模型(LLM)预训练团队从 N 个数据源收集语料。第 i 个数据源具有以下属性:
token 的权重比例,满足 ∑i=1Nwi=1;对每个数据源,团队可以独立选择以下 4 种清洗级别之一:
© CodeFun2000 · 使用条款
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册