编辑距离
编辑距离,又称为Levenshtein距离,是用于计算一个字符串转换为另一个字符串时,插入、删除和替换的次数。例如,将'dad'转换为'bad'需要一次替换操作,编辑距离为1。 nltk.metrics.distance.edit_distance函数实现了编辑距离。 from nltk.metrics.distance import edit_distance
str1 = 'bad' str2 = 'dad' print(edit_distance(str1, str2))
N元语法相似度n元语法只是简单地表示文本中n个标记的所有可能的连续序列。n元语法具体是这样的 import nltk
#这里展示2元语法 text1 = 'Chief Executive Officer'
#bigram考虑匹配开头和结束,所有使用pad_right和pad_left ceo_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)
print(list(ceo_bigrams)) [(None, 'Chief'), ('Chief', 'Executive'), ('Executive', 'Officer'), ('Officer', None)] 2元语法相似度计算 import nltk
#这里展示2元语法 def bigram_distance(text1, text2):
#bigram考虑匹配开头和结束,所以使用pad_right和pad_left
text1_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)
text2_bigrams = nltk.bigrams(text2.split(), pad_right=True, pad_left=True)
#交集的长度
distance = len(set(text1_bigrams).intersection(set(text2_bigrams)))
return distance
text1 = 'Chief Executive Officer is manager'
text2 = 'Chief Technology Officer is technology manager'
print(bigram_distance(text1, text2)) #相似度为3 jaccard相似性jaccard距离度量的两个集合的相似度,它是由 (集合1交集合2)/(结合1交结合2)计算而来的。 实现方式 from nltk.metrics.distance import jaccard_distance
#这里我们以单个的字符代表文本 set1 = set(['a','b','c','d','a']) set2 = set(['a','b','e','g','a'])
print(jaccard_distance(set1, set2)) 0.6666666666666666 masi距离masi距离度量是jaccard相似度的加权版本,当集合之间存在部分重叠时,通过调整得分来生成小于jaccard距离值。 from nltk.metrics.distance import jaccard_distance,masi_distance
#这里我们以单个的字符代表文本 set1 = set(['a','b','c','d','a']) set2 = set(['a','b','e','g','a'])
print(jaccard_distance(set1, set2)) print(masi_distance(set1, set2)) 0.6666666666666666
0.22000000000000003 余弦相似度nltk提供了余弦相似性的实现方法,比如有一个词语空间 word_space = [w1,w2,w3,w4]
text1 = 'w1 w2 w1 w4 w1'
text2 = 'w1 w3 w2'
#按照word_space位置,计算每个位置词语出现的次数
text1_vector = [3,1,0,1]
text2_vector = [1,1,1,0] [3,1,0,1]意思是指w1出现了3次,w2出现了1次,w3出现0次,w4出现1次。 好了下面看代码,计算text1与text2的余弦相似性 from nltk.cluster.util import cosine_distance
text1_vector = [3,1,0,1] text2_vector = [1,1,1,0]
print(cosine_distance(text1_vector,text2_vector)) 0.303689376177 数据采集
【视频讲解】Scrapy递归抓取简书用户信息 【实战视频】使用scrapy写爬虫-爬知乎live 如何将html中的表格数据保存下来 美团商家信息采集神器 gevent:异步理论与实战 轻盈高效的异步访问库grequests库 selenium驱动器配置详解 爬虫神器PyQuery的使用方法 简易SQLite3数据库学习 当爬虫遭遇验证码,怎么办 js2xml:将javascript字符串转换为xml extruct提取结构化数据 文本处理分析gensim:用Word2Vec进行文本分析
RAKE:快速自动抽取关键词算法
对于中文,nltk能做哪些事情 基于共现发现人物关系的python实现 用pyecharts制作词云图 留在网上的每个字,都在泄露你的身份
数据结构优雅简洁的列表推导式 Get小技巧等分列表 如何对数据进行各种排序? 数据结构:队列与堆栈 else除了跟if很搭,你还知道其他的关键词吗? 杂文Python通过字符串调用函数 Python圈中的符号计算库-Sympy Python中处理日期时间库的使用方法 三分钟掌握文件格式识别 为什么你要为2019,而不是2018做计划?
2017年度15个最好的数据科学领域Python库 迅雷不给力,我DIY了个下载器 计算运行时间-装饰器实现
花十分钟,给爱机安装个MongoDB 使用Python登录QQ邮箱发送QQ邮件 WTF Python: 开启你的懵逼模式 8行代码实现微信聊天机器人
|