时间戳

首页 > 解决方案 > 如何使用python对百万行数据进行ETL？

python - 如何使用python对百万行数据进行ETL？

问题描述

我有一个 pgAdmin 数据库，其中包含数百万行 geojson 格式。使用此表我创建 Tableau 仪表板。由于行包含geojson格式的数据，我必须像这样查询：

select jsondata ->> 'id' as id,
jsondata -> 'properties' ->> 'qq',,
jsondata -> 'properties' ->> 'www',
jsondata -> 'properties' ->> 'eeee',
jsondata -> 'properties' ->> 'qwer' ,
jsondata -> 'properties' ->> 'yyy',
split_part(jsondata -> 'properties' -> '@ab:com:abc:wxy'->'tags'->>0,'@',2),
split_part(jsondata -> 'properties' -> '@ab:com:abc:wxy'->'tags'->>1,'@',2),
split_part(jsondata -> 'properties' -> '@ab:com:abc:wxy'->'tags'->>2,'@',2),
split_part(jsondata -> 'properties' -> '@ab:com:abc:wxy'->'tags'->>3,'@',2),
split_part(jsondata -> 'properties' -> '@ab:com:abc:wxy'->'tags'->>4,'@',2),
split_part(jsondata -> 'properties' -> '@ab:com:abc:wxy'->'tags'->>5,'@',2),
split_part(jsondata -> 'properties' -> '@ab:com:abc:wxy'->'tags'->>6,'@',2),
TIMESTAMP 'epoch' + cast(cast(jsondata -> 'properties'->'@ab:com:abc:wxy'->>'createdAt'as bigint)/1000 as int) * INTERVAL '1 second' as create_date,
TIMESTAMP 'epoch' + cast(cast(jsondata -> 'properties'->'@ab:com:abc:wxy'->>'updatedAt'as     bigint)/1000 as int) * INTERVAL '1 second' as Update_date
from schema.table_name

当数据有千行时，我曾经将这个数据库与 tableaue 实时连接，但现在数据已经增加，而且会一天天增加。我想使用 ETL 过程创建画面仪表板，我正在考虑Talend，但我想使用 python 以编程方式完成它。

谁能建议我怎么做？

标签： pythonetldata-processingdata-managementpython-datamodel

解决方案

您可以使用 Pyspark。官网：http ://spark.apache.org/ 。Spark 专为处理和分析大数据而设计，并提供多种语言的 API。如果您正在处理的数据非常大，并且数据操作的速度和大小非常大，Spark 是 ETL 的不错选择。还有其他可用的库。但是你说你想使用大数据，Pyspark 会做你的工作。

你也可以试试马拉。它是一个轻量级的 Python ELT 工具。它功能强大且易于学习和使用。它使用 PostgreSQL 作为数据处理引擎，这将进一步帮助您制作项目，因为您已经在使用 Postgre。 https://github.com/mara

推荐阅读