python - 将数据帧字典写入单个文件
问题描述
试图捕捉多年每日更新的二维表格。我可以将它们下载到数据框字典中。尝试将其写入 CSV 文件,因此我不必每次都下载它。
import csv
import pandas as pd
def saver(dictex):
for key, val in dictex.items():
val.to_csv("data_{}.csv".format(str(key)))
with open("keys.txt", "w") as f: #saving keys to file
f.write(str(list(dictex.keys()))
def loader():
"""Reading data from keys"""
with open("keys.txt", "r") as f:
keys = eval(f.read())
dictex = {}
for key in keys:
dictex[key] = pd.read_csv("data_{}.csv".format(str(key)))
return dictex
dictex = loader()
它可以将所有键和值保存在不同的文件中。我的下一步是将所有数据放在一个文件中。
我尝试了以下方法,但它似乎只适用于一维字典。因为它无法读取以下错误消息。
“ValueError:字典更新序列元素 #1 的长度为 0;需要 2”
with open('datadict.csv', 'w', encoding='utf-8-sig') as csv_file:
writer = csv.writer(csv_file)
for key, value in data.items():
writer.writerow([key, value])
with open('datadict.csv', encoding='utf-8-sig') as csv_file:
reader = csv.reader(csv_file)
mydict = dict(reader)
这是一个类似于我正在使用的手工制作的数据集。我想将 dictdf 写入 csv 并以相同的结构读回。
import pandas as pd
import numpy as np
dates = pd.date_range('1/1/2000', periods=8)
df1 = pd.DataFrame(np.random.randn(8, 4),
index=dates, columns=['A', 'B', 'C', 'D'])
dates2 = pd.date_range('1/1/2000', periods=8)
df2 = pd.DataFrame(np.random.randn(8, 4),
index=dates, columns=['A', 'B', 'C', 'D'])
dictdf={}
dictdf['xxset']=df1
dictdf['yyset']=df2
感谢您的关注。
解决方案
我不知道您的keys.txt 或您的csv 的确切结构是什么,但根据您的代码,我怀疑这样的事情会将所有csv 加入一个DataFrame。
import pandas as pd
"""Reading data from keys"""
with open("keys.txt", "r") as f:
keys = eval(f.read())
list_of_dfs = []
# Read in all csv files and append to list
for key in keys:
list_of_dfs.append(pd.read_csv("data_{}.csv".format(str(key)))) # based on your example
# Join all dataframes into 1 big one
big_df = pd.concat(list_of_dfs)
编辑
如果要将带有数据框的字典保存到 1 个文件,将其保存为 pickle 文件可能是更好的选择。看到这个问题。
推荐阅读
- c++ - Arrayfire 矢量化
- laravel - 我如何模拟 guzzle 请求
- javascript - Javascript - 异步等待和获取 - 返回值,而不是承诺?
- facebook-prophet - 使用带有 fbprophet 的每周数据进行预测的困难
- joomla - 是否可以在 Joomla 中将 Tinymce 升级到 v5.x?
- vba - 如何检查 Split() 结果是否有效?
- java - Tomcat 9 不允许将文件读取为具有 777 权限的字符串?
- c# - 当 DataGrid 绑定到 Double 的列表或可观察集合时,不允许添加行操作
- python - 如何重组数据框?
- azure - 在 MAC 上的 vscode 中使用云 shell 输出到本地文件