python - 在 pandas 中加入 5 个 .rpt 文件

Question

我是数据科学的新手，正在从事我的第一个项目。我有 5 个包含大约 6GB 数据的文件，我正在对数据进行左外连接，我看到正在生成大约 1680 GB 的数据。

我想我的加入和熊猫有问题。

    ```
import pandas as pd
import numpy as np
a = pd.read_table("a.rpt")
b = pd.read_table("b.rpt")
c = pd.read_table("c.rpt")
d = pd.read_table("d.rpt")
e = pd.read_table("e.rpt")
import os
folderPath = r'/Users/sahithi/Desktop/data'
if not os.path.exists(folderPath):
  os.makedirs(folderPath)
uniqueIds=b.WEIGHT.unique()
for id in uniqueIds:
Record = b.loc[dx['WEIGHT'] == id]
path = folderPath+"/"+str(id)+".csv"
Record.to_csv(path)
mc = pd.merge(Record, c, on = 'NAME', how='left')
ma = pd.merge(mc, a, on = 'NAME', how='left')
md = pd.merge(ma, d, on = 'NAME', how='left')
me = pd.merge(md, e, on = 'NAME', how='left')
me.to_csv(path)
    ```

标签： pythonpandasleft-join