1000ms

Difficulty: 6

所属公司 : 阿里

时间 :2025年9月5日-菜鸟

算法与标签>字符串

会员或题库专享

请先，开通会员或购买题库阿里系机考题库，可解锁完整内容。

购买阿里系机考题库开通会员

会员专享

请先登录，登录后可使用今日免费解锁；开通会员，或购买该题目所属题库（阿里系机考题库），可解锁完整内容。

购买题库开通会员

解题思路

输入解析：输入为一行 JSON 数组，使用 JSON 库将其解析为字符串列表，每个字符串代表一条馆藏英文简介。设简介总数为 $n$ 。
文本预处理：
- 将所有简介统一转为小写。
- 按非字母字符（空格、标点等）对每条简介进行切分，提取出连续的字母序列作为词语。
- 过滤掉常见的英文停用词（例如 “the”,“is”,“a”,“an”,“of” 等），保留有实际语义的词语。若一条简介在去除停用词后没有剩余词，则该简介对应的权值向量视为零向量。
构建词汇表与文档频率：
- 遍历所有预处理后的简介，统计每个词在多少条简介中出现过（文档频率 $df$ ），同时为每条简介记录其内部各词的出现次数（词频 $tf$ ）。

题目内容

你正在开发一套图书管理工具，需要为馆藏书籍的英文简介建立一个相似度查询功能。请根据给定的若干条简介，完成以下任务：

对每条简介进行预处理：统一转为小写，按空格和标点分离出词语，并剔除常见英文停用词（如 "the"、"is" 等）。
为每条简介生成一个权值向量。向量的每一维对应一个在整个简介集合中出现的词，其权值由两部分决定：
- 词在当前简介中出现的频次；
- 词的稀有程度，即在多少条简介中出现过。出现越少的词，当它出现在某条简介中时，赋予越高的权重。
将所有向量做 L2 归一化（使向量的欧几里得长度为 1），然后计算任意两条简介对应向量之间的余弦相似度，定义为 $\displaystyle \cos\theta = \frac{\mathbf{v}_i \cdot \mathbf{v}_j}{\|\mathbf{v}_i\| \|\mathbf{v}_j\|}$ 。
构建一个 $n \times n$ 的相似度矩阵，其中的每个数值保留两位小数并以字符串形式表示（例如 '0.24'），自身与自身的相似度为 '1.00'。