corpus[0…N-1] 按时间递增(下标既是时间点/编号)。(t, q) 的检索窗口只看 L = max(0, t-K+1) 到 R = min(t, N-1) 的 M=R-L+1 篇文档。j 篇(最新 j=1)的权重
weight = (K - j + 1) / K(最新 1,最旧 1/K)。在新闻热点追踪场景中,传统 TF-IDF 对突发新闻的响应不够敏捷。为了提高热点词识别效果,现在使用一种基于历史窗口的 TF-IDF 检索方式。系统在处理查询时,不会扫描全部历史文档,而是只关注查询时间点之前的一段有限窗口。
文档集合按时间顺序存储,文档编号从 0 开始依次递增。一个查询由时间点 t 和查询内容 q 组成,其中 t 同时也是文档存储位置对应的下标。给定窗口大小 K,查询时间点 t 对应的历史窗口包含文档编号从 max(0, t-K+1) 到 min(t, N-1) 的所有文档,其中 N 是文档集合的总数。也就是说,窗口内最多包含 K 篇、且不晚于 t 的最近文档。
对窗口内文档赋予动态权重:将窗口内文档按从新到旧排列,第 j 篇(最新一篇为第 1 篇)的权重为 (K−j+1)/K。因此最新文档权重为 1,最旧文档权重为 1/K。
接下来计算查询内容与窗口内每一篇文档的相似度。文本被表示为向量。对于任意文本 s,词 w 在其中的词频 TF(w, s) 定义为 w 在 s 中出现的次数除以 s 的总词数。对于当前窗口中的文档集合,词 w 的逆文档频率 IDF(w) 定义为:
© CodeFun2000 · 使用条款
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册