时间戳

首页 > 解决方案 > 如何使用 pandas 和 sqlalchemy 将 VARIANT 或 ARRAY 数据类型插入 Snowflake

python - 如何使用 pandas 和 sqlalchemy 将 VARIANT 或 ARRAY 数据类型插入 Snowflake

问题描述

我有一个 Pandas 数据框，其中包含几个列表列。我想将它们作为ARRAY数据类型插入到我的雪花表中。

传统上，我使用过 PostgreSQL，并简单地插入为df_to_insert.to_sql(TABLE_NAME, sqlalchemy_connection, **other_parameters).

但是，我正在努力插入雪花。当我有一列是列表时，sqlAlchemy Snowflake 方言认为它是一个字符串：

表达式类型与列数据类型不匹配，预期为 ARRAY，但为列 NAME_OF_COLUMN_WITH_LISTS 获得了 VARCHAR(2)

我已经尝试通过添加显式 dtypes 来提示 sqlAlchemy 引擎该列不是字符串：

df_to_insert.to_sql("MY_SNOWFLAKE_TABLE_NAME",
                     snowflake_connection,
                     if_exists="append",
                     index=False,
                     dtype={'NAME_OF_COLUMN_WITH_LISTS': sqlalchemy.types.JSON})

这只会让我：

sqlalchemy.exc.StatementError: (builtins.AttributeError) 'SnowflakeDialect' 对象没有属性 '_json_serializer'

将数据插入变体/数组类型的雪花表并仍然使用熊猫/sqlalchemy的最佳方法是什么？或者还没有什么好的方法可以做到这一点？

标签： pythonpandassqlalchemysnowflake-cloud-data-platform

解决方案

解决此问题的直接方法是：

  1. 将数据框写入本地文本文件。
  2. 使用 PUT 命令上传到 Snowflake STAGE
  3. 在 select 语句中运行create or replace table as select from stage并将字段转换为正确的类型。

推荐阅读