python - 与 Dataframe 列进行比较并根据函数匹配相似行的最有效方法是什么？

Question

假设我们有两个 Dataframe，每个 Dataframe 都包含一列有点相似的基于字符串的值。基于比较函数（如textdistance 的Jaro-Winkler 实现），将行与相似列匹配的最有效和/或最有效的方法是什么？

示例数据框：

first_df = pd.DataFrame( ['Cars and cats', 'Spaceship', 'Captain Marvel', 'Dune','Bucks in 6'], columns=['Title'])

second_df = pd.DataFrame( ['Captain Harlock', 'Cats and dogs', 'Buccuneers', 'Dune buggy','Milwaukee Bucks'], columns=['Title'])

我在想的是：

• 根据每个 DataFrame 感兴趣的列创建笛卡尔积
• 应用比较函数并将结果存储在新列中。我们称它为similarity_score
• 按从最佳值到最差值对新 DataFrame 进行排序（取决于算法）
• 删除我们最感兴趣的列的重复项

执行：

comparison_df = first_df.merge(second_df, how='cross')

comparison_df['similarity_score'] = comparison_df.apply(lambda row: textdistance.jaro_winkler.normalized_similarity(row['First DataFrame Titles'], row['Second DataFrame Titles']), axis=1)
display(comparison_df)

comparison_df = comparison_df.sort_values('similarity_score', ascending=False).drop_duplicates(subset=['First DataFrame Titles'], keep='first')

欢迎任何建议。先感谢您。

标签： pythonpandasdataframeperformance