首页 > 解决方案 > 如何在 S3 中读取示例记录镶木地板文件?

问题描述

我在 S3 中有 100 个 parquet 文件,我想检查所有 parquet 文件是否正确创建。基本上下游系统应该能够毫无问题地读取这些镶木地板文件。在下游系统读取这些文件之前,我希望我的 python 脚本读取示例,每个 parquet 文件有 10 条记录。我使用以下语法读取镶木地板文件:

import pandas as pd
from boto3 import client

conn = client('s3') 
buffer = io.BytesIO() 
s3 = boto3.resource('s3')

result = s3.get_object(Bucket="my bucket", Key="my file location")
text = result["Body"].read().decode()

需要您的输入来读取示例记录,而不是 parquet 文件中的所有记录。谢谢你。

标签: python-3.xparquet

解决方案


推荐阅读