时间戳

首页 > 解决方案 > 有没有办法直接将 parquet 文件中的数据插入 PostgreSQL 数据库？

bash - 有没有办法直接将 parquet 文件中的数据插入 PostgreSQL 数据库？

问题描述

我正在尝试恢复一些以镶木地板格式保存的历史备份文件，我想从中读取一次并将数据写入 PostgreSQL 数据库。

我知道备份文件是使用 spark 保存的，但是对我有一个严格的限制，即我不能在数据库机器中安装 spark 或在远程设备中使用 spark 读取 parquet 文件并使用spark_df.write.jdbc. 一切都需要在数据库机器上发生，并且在没有 spark 和 Hadoop 的情况下，只使用 Postgres 和 Bash 脚本。

我的文件结构类似于：

foo/
    foo/part-00000-2a4e207f-4c09-48a6-96c7-de0071f966ab.c000.snappy.parquet
    foo/part-00001-2a4e207f-4c09-48a6-96c7-de0071f966ab.c000.snappy.parquet
    foo/part-00002-2a4e207f-4c09-48a6-96c7-de0071f966ab.c000.snappy.parquet
    ..
    ..

我希望从每个 parquet 文件夹中读取数据和模式，例如foo，使用该模式创建一个表并将数据写入成形表，仅使用 bash 和 Postgres CLI。

标签： bashpostgresqlhdfsparquet

解决方案

您可以使用 spark 并将 parquet 文件转换为 csv 格式，然后将文件移动到数据库机器并通过任何工具导入它们。

spark.read.parquet("...").write.csv("...")

import pandas as pd
df = pd.read_csv('mypath.csv')
df.columns = [c.lower() for c in df.columns] #postgres doesn't like capitals or spaces

from sqlalchemy import create_engine
engine = create_engine('postgresql://username:password@localhost:5432/dbname')

df.to_sql("my_table_name", engine)

推荐阅读