python - 左合并在 Pandas Dataframes 中不起作用

Question

我正在尝试合并两个数据框df和df1. 每个 df 的 csv 超过 10gb 并且有数百万行，所以当我尝试合并时，我的内核一直在死亡。

我可以使用 spark 为此启用多核处理吗？如何避免内核错误？我有一个公共列df，df1我正在尝试使用merged = pd.merge(df, df1, on='Number and postcode', how = 'left'). 使用left合并的原因是因为df在一列中有许多重复项。我想保留这些并查找 df 和 df1 在number and postcode.

标签： pythonpandasdataframe