时间戳

首页 > 解决方案 > 使用 Python 将数据写入雪花

python-3.x - 使用 Python 将数据写入雪花

问题描述

我们可以直接将数据写入雪花表而不使用 Python 的雪花内部阶段吗？？？？

先在stage中写入然后转换然后加载到表中似乎是辅助任务。它可以像RDBMS中的JDBC连接一样一步完成吗？

标签： python-3.xsnowflake-cloud-data-platform

解决方案

将数据加载到 Snowflake 中的绝对最快的方法是从内部或外部阶段的文件。时期。所有连接器都可以使用标准插入命令插入数据，但这不会很好。也就是说，许多 Snowflake 驱动程序现在透明地使用 PUT/COPY 命令通过内部阶段将大数据加载到 Snowflake。如果这是您所追求的，那么您可以利用 pandaswrite_pandas命令在单个命令中将数据从 pandas 数据帧加载到 Snowflake。在幕后，它将为您执行 PUT 和 COPY INTO。

https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python-connector-api-write-pandas

我强烈推荐这种模式，而不是任何驱动程序中的 INSERT 命令。而且我还建议在加载到雪花之后进行转换，而不是之前。

推荐阅读