TF-IDF与余弦相似性的应用(二):找出相似文章_j6915819的博客-程序员秘密

技术标签: 技术  

今天,我们再来研究另一个相关的问题。有些时候,除了找到关键词,我们还希望找到与原文章相似的其他文章。比如,"Google新闻"在主新闻下方,还提供多条相似的新闻。

为了找出相似的文章,需要用到"余弦相似性"(cosine similiarity)。下面,我举一个例子来说明,什么是"余弦相似性"。

为了简单起见,我们先从句子着手。

  句子A:我喜欢看电视,不喜欢看电影。

  句子B:我不喜欢看电视,也不喜欢看电影。

请问怎样才能计算上面两句话的相似程度?

基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。

第一步,分词。

  句子A:我/喜欢/看/电视,不/喜欢/看/电影。

  句子B:我/不/喜欢/看/电视,也/不/喜欢/看/电影。

第二步,列出所有的词。

  我,喜欢,看,电视,电影,不,也。

第三步,计算词频。

  句子A:我 1,喜欢 2,看 2,电视 1,电影 1,不 1,也 0。

  句子B:我 1,喜欢 2,看 2,电视 1,电影 1,不 2,也 1。

第四步,写出词频向量。

  句子A:[1, 2, 2, 1, 1, 1, 0]

  句子B:[1, 2, 2, 1, 1, 2, 1]

到这里,问题就变成了如何计算这两个向量的相似程度。

我们可以把它们想象成空间中的两条线段,都是从原点([0, 0, ...])出发,指向不同的方向。两条线段之间形成一个夹角,如果夹角为0度,意味着方向相同、线段重合;如果夹角为90度,意味着形成直角,方向完全不相似;如果夹角为180度,意味着方向正好相反。因此,我们可以通过夹角的大小,来判断向量的相似程度。夹角越小,就代表越相似。

以二维空间为例,上图的a和b是两个向量,我们要计算它们的夹角θ。余弦定理告诉我们,可以用下面的公式求得:

假定a向量是[x1, y1],b向量是[x2, y2],那么可以将余弦定理改写成下面的形式:

数学家已经证明,余弦的这种计算方法对n维向量也成立。假定A和B是两个n维向量,A是 [A1, A2, ..., An] ,B是 [B1, B2, ..., Bn] ,则A与B的夹角θ的余弦等于:

使用这个公式,我们就可以得到,句子A与句子B的夹角的余弦。

余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫"余弦相似性"。所以,上面的句子A和句子B是很相似的,事实上它们的夹角大约为20.3度。

由此,我们就得到了"找出相似文章"的一种算法:

  (1)使用TF-IDF算法,找出两篇文章的关键词;

  (2)每篇文章各取出若干个关键词(比如20个),合并成一个集合,计算每篇文章对于这个集合中的词的词频(为了避免文章长度的差异,可以使用相对词频);

  (3)生成两篇文章各自的词频向量;

  (4)计算两个向量的余弦相似度,值越大就表示越相似。

"余弦相似度"是一种非常有用的算法,只要是计算两个向量的相似程度,都可以采用它。

下一次,我想谈谈如何在词频统计的基础上,自动生成一篇文章的摘要。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/j6915819/article/details/51644172

智能推荐

intellij idea 插件 ideaVim 用法_weixin_33883178的博客-程序员秘密

intellij idea 插件 ideaVim - Genji_ - 博客园http://www.cnblogs.com/nova-/p/3535636.html IdeaVim插件使用技巧 - - ITeye技术网站http://kidneyball.iteye.com/blog/1828427 Ctrl+Alt+V  --打开或关闭Idea Vim 当打开idea vim后,当前编...

【操作系统】CPU寄存器详解_公子无缘的博客-程序员秘密_cpu 寄存器

寄存器是 CPU 内部用来存放数据的一些小型存储区域,用来暂时存放参与运算的数据和运算结果以及一些 CPU 运行需要的信息。本文将归纳下面几中寄存器:目录一 通用寄存器二 标志寄存器三指令寄存器四 段寄存器五 控制寄存器六 调试寄存器七 描述符寄存器八 任务寄存器九 MSR寄存器一 通用寄存器 最常用的,也是最基础的有8个通用寄存器(注意一般看到的EAX、ECX也是指的这类寄存器再32位CPU上的拓展,另...

android studio : Could not find org.jetbrains.kotlin:kotlin-stdlib-jre7:1.5.31_Mars-xq的博客-程序员秘密

插件版本配置:仓库配置:ext.kotlin_version = '1.5.31'repositories { maven{ url 'https://maven.aliyun.com/repository/google'} maven{ url 'https://maven.aliyun.com/repository/gradle-plugin'} maven{ url 'https://maven.aliyun.com/repository/public'} ma

[USACO09OCT]热浪Heat Wave 洛谷 1339 最短路_A_loud_name的博客-程序员秘密

题目大意单源最短路···········分析写dij就好了, 但是 我写了dij+堆优化版本的。学习了如何使用c++的优先队列。ps:家里的键盘很恶心啊:f5、f7、f11太小了,按不到。 ps:c++的模板正在补全中。code//dij+堆优化版本#include<iostream>#include<cstring>#include<cstdio>#include<cmath>#i

【操作系统】用户态线程和内核态线程有什么区别?_吻雨_Beta的博客-程序员秘密_用户线程和内核线程

本文内容转载于“拉勾教育”的讲义,详细可看拉勾教育的课程。本人学习之余做做笔记,顺便当个搬运工。目录用户态线程和内核态线程有什么区别?什么是用户态和内核态?系统调用过程线程模型用户态线程内核态线程用户态线程和内核态线程之间的映射关系总结用户态线程和内核态线程有什么区别?这是一个组合型的问题,由很多小问题组装而成,比如:用户态和内核态是什么?用户级线程和内核级线程是一个怎样的对应关系?内核响应系统调用是一个怎样的过程?什么是用户态和内核态?Kernel

随便推点

操作系统之文件管理(一)_Ssaty.的博客-程序员秘密_操作系统文件管理代码

第1关:移动文件请通过Python编程,将一个目录下的文件全部移动到另一个目录下。import osimport shutildef movefiles(sourceDir, targetDir): # 请在此添加代码,补全函数movefiles 实现将sourceDir下文件移动到targetDir下的功能 #-----------Begin---------- if not os.path.exists(targetDir): os.mkdir(tar

英语歌曲:Home(家)_北京小辉的博客-程序员秘密

Another summer day 又一个夏天 Has come and gone away 来了又走 In Paris or Rome… 在巴黎或者罗马 But I wanna go home 但是我只想回家… uhmMay be surrounded by 可能被成千上万的人 A million people I 所拥戴追逐 但我 Still feel al

一元四次方程c语言程序编写,一元高次方程数值解法C程序实现探讨..doc_墨村拓哉的博客-程序员秘密

一元高次方程数值解法C程序实现探? 一元高次方程作为方程的一部分,对我们后续的学习起着相当重要的作用求解一元高次方程的根在计算数学方面既是难点也是重点。一元三次方程和一元四次方称有一般解法,但是比较复杂,且超过了一般的知识范围5次以及5次以上的代数方程,没有一般的公式解法。文我们了解了系数在有理数域且只有有理根的一元高次方程的解法技巧一元二次方程根式解的推敲了一元三次、四次方程的根式解;最后介绍了...

《Java代码审计》作者柯俊师傅告诉你为什么要学Java代码审计,不看是你的损失!..._Ms08067安全实验室的博客-程序员秘密

出品|MS08067实验室(www.ms08067.com)李柯俊:国内某知名企业实验室高级web研究员,《java代码审计:入门篇》作者,曾在freebuf、 安全客发表多篇高质量技术...

无需写代码!可一键生成前后端代码的开源工具_CSDN资讯的博客-程序员秘密

作者|HelloGitHub-小鱼干来源 | HelloGitHub(ID:GitHub520)头图 | CSDN下载自东方ICJeecgBoot 是一款基于代码生成器的低代码开...

在虚拟环境打包pyinstaller打包记录_ZHHHHHJ66的博客-程序员秘密

新建一个新文件夹在新建文件夹myproject中打开cmd,创建一个不依赖系统python包的虚拟环境,名为venv。关闭cmd.virtualenv --no-site-packages venv进入myproject\venv\Scripts,打开cmd,执行命令activate,激活虚拟环境C:\Users\acer\myproject\venv\Scripts&gt;activate返回(venv) C:\Users\acer\myproject\venv\Scripts&..

推荐文章

热门文章

相关标签