python - 使用 pandas Python (pandas.io.parsers.TextFileReader) 从文件中读取数据时出现问题
问题描述
我想从带有熊猫的文件中读取数据集,但是当我使用 pd.read_csv() 时,程序会读取它,但是当我想查看数据框时:
pandas.io.parsers.TextFileReader 位于 0x1b3b6b3e198
作为附加信息,文件太大(大约 9 Gigas)
该文件用作垂直线的分隔符,我尝试使用 chunksize 但它不起作用。
import pandas as pd
df = pd.read_csv(r"C:\Users\dguerr\Documents\files\Automotive\target_file", iterator=True, sep='|',chunksize=1000)
我想以传统的 pandas 数据框格式导入我的数据。
解决方案
您可以通过执行以下操作逐块加载它:
import pandas as pd
path_to_file = "C:/Users/dguerr/Documents/Acxiom files/Automotive/auto_model_target_file"
chunk_size = 1000
for chunk in pd.read_csv(path_to_file,chunksize=chunk_size):
# do your stuff
推荐阅读
- python - 基于 numpy 数组的曲线边缘
- html - 为什么我无法使用 MSXML2 和 VBA 将 HTML 类名添加到元素集合
- scala - 加特林 gRPC 身份验证
- c++ - 如何在面向对象语言中打开子类型?
- android - 从 Guice DI 转换为 Hilt/Dagger DI 时是否需要遵循任何特定规则
- java - 将非规范化或平面数据转换为分层 Java 对象
- bash - 调用 bash 时 Perl 脚本运行缓慢
- css - 如何在第二个 Tailwind CSS 网格列中左对齐内容,以便在所有屏幕尺寸下保持它与第一列之间的间隙?
- azure-pipelines-build-task - 尝试保存包含自定义任务的管道时出错
- python - 从 pandas 数据框创建边缘列表