时间戳

首页 > 解决方案 > Pandas - 仅将一个数据框与其自身部分合并

python - Pandas - 仅将一个数据框与其自身部分合并

问题描述

这是以下问题的后续问题： Pandas Similarity Matching

第一个问题的最终目标是找到一种方法，如果每行具有相同的CountryId.

这是示例数据框：

 df = pd.DataFrame([[1, 5, 'AADDEEEEIILMNORRTU'], [2, 5, 'AACEEEEGMMNNTT'], [3, 5, 'AAACCCCEFHIILMNNOPRRRSSTTUUY'], [4, 5, 'DEEEGINOOPRRSTY'], [5, 5, 'AACCDEEHHIIKMNNNNTTW'], [6, 5, 'ACEEHHIKMMNSSTUV'], [7, 5, 'ACELMNOOPPRRTU'], [8, 5, 'BIT'], [9, 5, 'APR'], [10, 5, 'CDEEEGHILLLNOOST'], [11, 5, 'ACCMNO'], [12, 5, 'AIK'], [13, 5, 'CCHHLLOORSSSTTUZ'], [14, 5, 'ANNOSXY'], [15, 5, 'AABBCEEEEHIILMNNOPRRRSSTUUVY']],columns=['PartnerId','CountryId','Name'])

其他线程中的答案对这个问题有好处，但我最终遇到了计算问题。我的真实来源包含 >19.000 行，并且将来会更大。

答案建议merge每个自我的数据框将其与具有相同的所有其他行进行比较CountryId：

df = df.merge(df, on='CountryId', how='outer')

即使对于上面提供的 15 行的小例子，我们最终也会得到 225 行合并。对于整个数据集，我最终得到了 131.044.638 行，这使我的 RAM 拒绝工作。因此，我需要想出一个更好的方法来merge处理这两个数据框。

当我进行相似性检查时，我想知道是否有可能：

  1. CountryId根据和 对数据框进行排序Name

  2. 仅将每行与 +/- 3 行连接合并。例如，排序后第 1 行将仅与 (2,3 & 4) 合并，因为这是第一行。第 2 行将仅与 (1, 3, 4, 5) 合并，依此类推。

像这样，我将有几乎彼此相邻的相似名称，并且“更远”的名称无论如何都不会相似。因此不需要检查它们的相似性。

标签： pythonpandasdataframemerge

解决方案

我为我的问题找到了一种解决方法，即在之前（如果存在）和之后取 3 行。

sorted_df = df.sort_values(by=['CountryId','Name']).reset_index(drop=True)
new_sorted = pd.Series()
min = -3
max = 3
for s in list(range(min,max+1,1)):
    if s == min:
        new_sorted = sorted_df['PartnerId'].astype(str).shift(s,fill_value='A').rename('MatchingID')
    elif s != 0:
        new_sorted = new_sorted + '-' + sorted_df['PartnerId'].astype(str).shift(s,fill_value='A').rename('MatchingID')


match = sorted_df.merge(new_sorted,left_index=True,right_index=True)

matching_df = []
for index, row in match.iterrows():
    row_values = row.tolist()
    matching_df += [row_values[0:-1] + [int(w)] for w in row_values[-1].split('-') if w != 'A']

如果有人能想出一个更好的主意，我会很高兴听到它！

推荐阅读