字符串的相似性比較應用場合很多,像拼寫糾錯、文本去重、上下文相似性等。
評價字符串相似度最常見的辦法就是:把一個字符串通過插入、刪除或替換這樣的編輯操作,變成另外一個字符串,所需要的最少編輯次數,這種就是編輯距離(editdistance)度量方法,也稱為Levenshtein距離。海明距離是編輯距離的一種特殊情況,只計算等長情況下替換操作的編輯次數,只能應用于兩個等長字符串間的距離度量。
其他常用的度量方法還有Jaccarddistance、J-W距離(Jaro–Winklerdistance)、余弦相似性(cosinesimilarity)、歐氏距離(Euclideandistance)等。
#-*-coding:utf-8-*-
importdifflib
#importjieba
importLevenshtein
str1="我的骨骼雪白也長不出青稞"
str2="雪的日子我只想到雪中去si"
#1.difflib
seq=difflib.SequenceMatcher(None,str1,str2)
ratio=seq.ratio()
print'difflibsimilarity1:',ratio
#difflib去掉列表中不需要比較的字符
seq=difflib.SequenceMatcher(lambdax:xin'我的雪',str1,str2)
ratio=seq.ratio()
print'difflibsimilarity2:',ratio
#2.hamming距離,str1和str2長度必須一致,描述兩個等長字串之間對應位置上不同字符的個數
#sim=Levenshtein.hamming(str1,str2)
#print'hammingsimilarity:',sim
#3.編輯距離,描述由一個字串轉化成另一個字串最少的操作次數,在其中的操作包括插入、刪除、替換
sim=Levenshtein.distance(str1,str2)
print'Levenshteinsimilarity:',sim
#4.計算萊文斯坦比
sim=Levenshtein.ratio(str1,str2)
print'Levenshtein.ratiosimilarity:',sim
#5.計算jaro距離
sim=Levenshtein.jaro(str1,str2)
print'Levenshtein.jarosimilarity:',sim
#6.Jaro–Winkler距離
sim=Levenshtein.jaro_winkler(str1,str2)
print'Levenshtein.jaro_winklersimilarity:',sim
difflibsimilarity1:0.246575342466
difflibsimilarity2:0.0821917808219
Levenshteinsimilarity:33
Levenshtein.ratiosimilarity:0.27397260274
Levenshtein.jarosimilarity:0.490208958959
Levenshtein.jaro_winklersimilarity:0.490208958959