python-3.x - 如何将多个数据帧合并为一个并将其输出到熊猫中的 csv 文件?
问题描述
我有一个 csv 文件,如下所示
,date,location,device,provider,cpu,mem,load,drops,id,latency,gw_latency,upload,download,sap_drops,sap_latency,alert_id
0,2018-02-10 11:52:59.342269+00:00,CFE,10.0.100.1,BWE,6.0,23.0,11.75,0.0,,,,,,,,
1,2018-02-10 11:53:04.006971+00:00,CDW,10.0.100.1,GRE,6.0,23.0,4.58,0.0,,,,,,,,
2,2018-02-09 11:52:59.342269+00:00,,,SSD,,,10.45,,,,,,,,,
3,2018-02-08 09:52:59.342269+00:00,,,BWE,,,12.45,,,,,,,,,
4,2018-02-07 04:52:59.342269+00:00,,,RRW,,,9.45,,,,,,,,,
5,2018-02-06 05:52:59.342269+00:00,,,GRE,,,5.45,,,,,,,,,
6,2018-02-05 07:52:59.342269+00:00,,,SSD,,,13.45,,,,,,,,,
7,2018-02-04 10:52:59.342269+00:00,,,SSD,,,8.15,,,,,,,,,
8,2018-02-03 10:52:59.342269+00:00,,,GRE,,,4.15,,,,,,,,,
9,2018-02-02 06:52:59.342269+00:00,,,RRW,,,13.15,,,,,,,,,
10,2018-02-10 22:35:33.438948+00:00,QQW,10.12.11.1,VCD,4.0,23.0,5.0,0.0,,,,,,,,
11,2018-02-10 22:35:37.905242+00:00,CSW,10.12.11.1,VCD,4.0,23.0,6.08,0.0,,,,,,,,
.......................................................................................
.......................................................................................
我像下面这样加载 csv 文件
df = pd.read_csv("metrics_copy.csv", parse_dates=["date"])
df['device'] = df['device'].astype(str)
unique_devices = (np.unique(df[['device']].values))
unique_provider = np.unique(df[['provider']].values)
我想获得一个 csv 文件,其中仅包含特定组合的特定列。
for i in unique_devices:
for j in ["cpu", "mem"]:
df2 = df[(df['device'] == i)]
df2["date"] = pd.to_datetime(df2["date"], format="%Y-%m-%d")
print(df2[j])
如您所见,对于设备和指标的每个唯一组合,我将获得时间序列数据。我能够为给定设备获取一堆值。我df2[j]
想将这些值输出到所有组合的 csv 文件只要循环继续..我知道一个名为 pd.concat 的概念,可以像下面这样使用
df_final = pd.concat([df, df2, df3.....])
但为此,我需要为所有可能的组合生成数据帧,然后最后将它们连接成一个数据帧。所以我希望最终结果 csv 文件看起来像下面这样cpu
date cpu
... ...
... ...
另一个 csv 文件mem
如下所示
date mem
... ...
... ...
但我不确定如何实现这一点。有什么帮助吗?
解决方案
在附加模式下使用 df.to_csv() 改编自以下内容:如何将熊猫数据添加到现有的 csv 文件?
for i in unique_devices:
for j in ["cpu", "mem"]:
df2 = df[(df['device'] == i)]
df2["date"] = pd.to_datetime(df2["date"], format="%Y-%m-%d")
df2[['date',j]].to_csv('{}.csv'.format(j), mode='a', index=False, header=False)
或者,您可以使用 if 语句来检查文件是否存在,以便在第一次创建文件时使用标题,然后将其忽略:
for i in unique_devices:
for j in ["cpu", "mem"]:
df2 = df[(df['device'] == i)]
df2["date"] = pd.to_datetime(df2["date"], format="%Y-%m-%d")
import os
if not os.path.isfile('{}.csv'.format(j)):
df.to_csv('{}.csv'.format(j), mode='a', index=False)
else:
df2[['date',j]].to_csv('{}.csv'.format(j), mode='a', index=False, header=False)
推荐阅读
- assembly - 装配异常处理
- python-3.x - Python转换时区偏差
- angular - Angular 部署 URL 资产路径
- vba - 从Textbox中提取的数据与excel数据不一样
- c++ - cocos2dx admob/firebase 不工作
- java - 如何将改造 api 响应保存到领域并在 android 上离线使用
- mysql - 我是sequelize的新手,如何将mysql查询转换为sequelize
- asp.net-mvc - 剑道 UI 不加载数据
- android - 在 ReactNative 中首次加载时图像闪烁
- javascript - 光滑的多个轮播和控件问题