python - 合并相似的字符串 Python
问题描述
我有两个字符串
string1 = "apple banna kiwi mango"
string2 = "aple banana mango lemon"
我想要这两个字符串相加的结果(不是连接),即结果应该看起来像
result = "apple banana kiwi mango lemon"
我目前的方法相当简单。
- 标记多行字符串(上面的字符串是标记后的),去除任何噪音(特殊/换行符/空字符串)
- 下一步是识别字符串的余弦相似度,如果大于 0.9,那么我将其中一个字符串添加到最终结果中
现在,问题来了。它不包括一个字符串包含一个单词的一半而另一个包含单词的另一半(或在某些情况下是正确的单词)的部分。我还在我的脚本中添加了这个函数。但问题仍然存在。任何有关如何推进这一点的帮助表示赞赏。
def text_to_vector(text):
words = WORD.findall(text)
return Counter(words)
def get_cosine(vec1, vec2):
intersection = set(vec1.keys()) & set(vec2.keys())
numerator = sum([vec1[x] * vec2[x] for x in intersection])
sum1 = sum([vec1[x]**2 for x in vec1.keys()])
sum2 = sum([vec2[x]**2 for x in vec2.keys()])
denominator = math.sqrt(sum1) * math.sqrt(sum2)
if not denominator:
return 0.0
else:
return float(numerator) / denominator
def merge_string(string1, string2):
i = 0
while not string2.startswith(string1[i:]):
i += 1
sFinal = string1[:i] + string2
return sFinal
for item in c:
for j in d:
vec1 = text_to_vector(item)
vec2 = text_to_vector(j)
r = get_cosine(vec1, vec2)
if r > 0.5:
if r > 0.85:
final.append(item)
break
else:
sFinal = merge_string(item, j)
#print("1.", len(sFinal), len(item), len(j))
if len(sFinal) >= len(item) + len(j) -8:
sFinal = merge_string(j, item)
final.append(sFinal)
#print("2.", len(sFinal), len(item), len(j))
temp.append([item, j])
break
解决方案
困难的部分是检查单词是否是有效的英文单词。
为此,要么你必须有一本字典来检查这个词,要么使用 nltk。
pip install nltk
from nltk.corpus import wordnet
set([w for w in (string1 + string2).split() if wordnet.synsets(w)])
Out[41]: {'apple', 'banana', 'kiwi', 'lemon', 'mango'}
要捕获数字(如果存在),请添加 isdigit()。
st1 = 'Includes Og Added Sugars'
st2 = 'Includes 09 Added Sugars 09'
set([w for w in (st1 + st2).split() if (wordnet.synsets(w) or w.isdigit())])
Out[30]: {'09', 'Added', 'Includes', 'Sugars'}
要捕获 g、mg 之类的缩写,请添加 re.match()。
set([w for w in (st1 + st2).split() if (wordnet.synsets(w) or w.isdigit() or re.match(r'\d+g|mg',w))])
Out[40]: {'09', '0g', 'Added', 'Includes', 'Sugars'}
推荐阅读
- python - 如何在 youtube-dl 中使用关键字而不是 url?
- environment-variables - mvn -Pandroid gluonfx:build 找不到 Graalvm 安装目录
- javascript - 尝试在 reactjs 中播放视频时加载资源失败:net::ERR_FILE_NOT_FOUND
- c# - 统一使用标签从 ToggleGroup 获取值
- javascript - Javascript - 从 url 中获取页面名称,无论是否有斜杠
- c# - BadImageFormatException 无法加载文件或程序集...试图加载格式不正确的程序
- javascript - 仅当 author.name 的内容是准确的或剩余的单词时才有效
- firebase - Flutter GetX 包 Firebase Auth 和 FireStore “用于空值的空检查运算符”
- r - 使用带有嵌套列表的查找表
- spring - Spring Data REST CORS - 如何只允许对所有子路径的 GET 请求,除了一个子路径允许 POST 和 GET?