设为首页 - 加入收藏 QQ群:256986131
您的当前位置:主页 > SEO优化 > 正文

申博开户计算它们的相似程度

来源:www.chinaheimao.com 编辑:黑帽网 时间:2018-01-09

句子A:我喜欢看电视,不喜欢看电影。

(4)计算两个向量的余弦相似度,推广,值越大就表示越相似。

一、什么是"余弦相似性"?

在上一篇文章黑帽网已经详细的介绍了利用TF-IDF算法自动提取文章关键词的原理。接下来,赌球心得,我们再来研究一下另一个相关的问题。这个问题也是我们做SEO的最关心的,有些时候,我们除了要明白如何找到并提取文章关键词,我们还需要找到与原文章相似的其他文章。比如,我们平时在搜索引擎新闻栏目下搜索某条新闻的时候,在主新闻下方,还提供了多条相似的新闻。如下图所示:

那么我们怎样才能计算出上面两句话的相似程度呢?

句子B:我/不/喜欢/看/电视,也/不/喜欢/看/电影。

句子B:我 1,喜欢 2,看 2,电视 1,电影 1,不 2,也 1。

句子A:我 1,喜欢 2,看 2,电视 1,电影 1,不 1,也 0。


我,喜欢,看,电视,电影,不,也。


黑帽网建议的基本思路是:如果这两句话的用词越相似,立冠博狗,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。

使用这个公式,我们就可以得到,句子A与句子B的夹角的余弦,如下图所示:

二、搜索引擎是如何判定相似文章的?

余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫“余弦相似性”。所以,上面的句子A和句子B是很相似的,事实上它们的夹角大约为20.3度。

(1)使用TF-IDF算法,找出两篇文章的关键词;

到这里,问题就变成了如何计算这两个向量的相似程度。

(2)每篇文章各取出若干个关键词(比如20个),合并成一个集合,计算每篇文章对于这个集合中的词的词频(为了避免文章长度的差异,可以使用相对词频);

为了简单起见,我们先从句子着手。

第2步:列出所有的词

以二维空间为例,上图的a和b是两个向量,我们要计算它们的夹角θ。余弦定理告诉我们,可以用下面的公式求得:

余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1,而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时,余弦相似度的值为1;两个向量夹角为90°时,余弦相似度的值为0;两个向量指向完全相反的方向时,余弦相似度的值为-1。在比较过程中,多宝平台网址,向量的规模大小不予考虑,仅仅考虑到向量的指向方向。余弦相似度通常用于两个向量的夹角小于90°之内,因此余弦相似度的值为0到1之间。

网友评论:

栏目分类


创始人QQ:826999061 | 广告位 | 蜘蛛池 | 站群 | 劫持联系我们

Copyright © 2002-2018. 中国黑帽技术 版权所有 Power by China

Top