Python字符串相似性的幾種度量方法？

字符串的相似性比較應用場合很多，像拼寫糾錯、文本去重、上下文相似性等。

評價字符串相似度最常見的辦法就是：把一個字符串通過插入、刪除或替換這樣的編輯操作，變成另外一個字符串，所需要的最少編輯次數，這種就是編輯距離（edit distance）度量方法，也稱為Levenshtein距離。海明距離是編輯距離的一種特殊情況，只計算等長情況下替換操作的編輯次數，只能應用于兩個等長字符串間的距離度量。

其他常用的度量方法還有 Jaccard distance、J-W距離（Jaro–Winkler distance）、余弦相似性（cosine similarity）、歐氏距離（Euclidean distance）等。

# -*- coding: utf-8 -*-

import difflib

# import jieba

import Levenshtein

str1 = "我的骨骼雪白 也長不出青稞"

str2 = "雪的日子 我只想到雪中去si"

# 1. difflib

seq = difflib.SequenceMatcher(None, str1,str2)

ratio = seq.ratio()

print 'difflib similarity1: ', ratio

# difflib 去掉列表中不需要比較的字符

seq = difflib.SequenceMatcher(lambda x: x in ' 我的雪', str1,str2)

ratio = seq.ratio()

print 'difflib similarity2: ', ratio

# 2. hamming距離，str1和str2長度必須一致，描述兩個等長字串之間對應位置上不同字符的個數

# sim = Levenshtein.hamming(str1, str2)

# print 'hamming similarity: ', sim

# 3. 編輯距離，描述由一個字串轉化成另一個字串最少的操作次數，在其中的操作包括 插入、刪除、替換

sim = Levenshtein.distance(str1, str2)

print 'Levenshtein similarity: ', sim

# 4.計算萊文斯坦比

sim = Levenshtein.ratio(str1, str2)

print 'Levenshtein.ratio similarity: ', sim

# 5.計算jaro距離

sim = Levenshtein.jaro(str1, str2 )

print 'Levenshtein.jaro similarity: ', sim

# 6. Jaro–Winkler距離

sim = Levenshtein.jaro_winkler(str1 , str2 )

print 'Levenshtein.jaro_winkler similarity: ', sim

difflib similarity1: 0.246575342466

difflib similarity2: 0.0821917808219

Levenshtein similarity: 33

Levenshtein.ratio similarity: 0.27397260274

Levenshtein.jaro similarity: 0.490208958959

Levenshtein.jaro_winkler similarity: 0.490208958959