python - 使用 python pandas 删除 2 个不同文件中的重复行

Question

早上好！我正在尝试使用熊猫从 csv 文件中删除重复的行。我有 2 个文件，A.csv 和 B.csv 我想删除 A 中存在于 B 中的所有行。

文件 A.csv：

Pedro,10,rojo
Mirta,15,azul 
Jose,5,violeta

文件 B.csv：

Pedro,
ignacio,
fernando,
federico,

输出文件 output.csv：

Mirta,15,azul 
Jose,5,violeta

尝试加入文件然后申请

cat A.csv B.csv > output.csv

并在 python 中运行这个程序：

import pandas as pd

df = pd.read_csv('output.csv')
df.drop_duplicates(inplace=True)
df.to_csv('final.csv', index=False)

标签： pythonpandas

Answer 1

data_A = {'name': ['Pedro','Mirta','Jose'], 'age': [10,15,5]}
data_B = {'name': ['Pedro','ignacio','fernando', 'federico']}

A = pd.DataFrame(data=data_A)
B = pd.DataFrame(data=data_B)

A

    name    age
0   Pedro   10
1   Mirta   15
2   Jose    5

B

    name
0   Pedro
1   ignacio
2   fernando
3   federico

df = pd.merge(A, B, on='name', how='left', indicator=True)

df
    name    age _merge
0   Pedro   10  both
1   Mirta   15  left_only
2   Jose    5   left_only

df  = df[df['_merge'] != 'both']

df

    name    age _merge
1   Mirta   15  left_only
2   Jose    5   left_only

df.drop(columns='_merge', inplace=True)

df
    name    age
1   Mirta   15
2   Jose    5