时间戳

首页 > 解决方案 > 通过 sql 查询 (pyodbc) 写入数据帧：pyodbc.Error: ('HY004', '[HY004])

sql - 通过 sql 查询 (pyodbc) 写入数据帧：pyodbc.Error: ('HY004', '[HY004])

问题描述

我想将数据框解析为 sql 表中的两个预定义列。sql中的架构是：

abc(varchar(255))
def(varchar(255))

使用这样的数据框：

df = pd.DataFrame(
    [
        [False, False],
        [True, True],

    ],
    columns=["ABC", "DEF"],
)

sql查询是这样的：

with conn.cursor() as cursor:
    string = "INSERT INTO {0}.{1}(abc, def) VALUES (?,?)".format(db, table)
    cursor.execute(string, (df["ABC"]), (df["DEF"]))
    cursor.commit()

这样查询（字符串）看起来像这样：

'INSERT INTO my_table(abc, def) VALUES (?,?)'

这将创建以下错误消息：

pyodbc.Error: ('HY004', '[HY004] [Cloudera][ODBC] (11320) SQL type not supported. (11320) (SQLBindParameter)')

所以我尝试在 Impala 编辑器中使用直接查询（不是通过 Python），如下：

'INSERT INTO my_table(abc, def) VALUES ('Hey','Hi');'

并产生此错误消息：

AnalysisException: Possible loss of precision for target table 'my_table'. Expression ''hey'' (type: `STRING) would need to be cast to VARCHAR(255) for column 'abc'`

为什么我什至不能在我的表格中插入简单的字符串，比如“Hi”？我的架构设置正确还是其他？

标签： sqlpython-3.xhivepyodbcimpala

解决方案

STRING在 Impala 中输入的大小限制为 2GB。 VARCHAR的长度是您定义的任何长度，但不超过 64KB。因此，如果您将一个隐式转换为另一个，则可能会丢失数据。

默认情况下，文字被视为 type STRING。因此，为了在字段中插入文字，VARCHAR您需要CAST适当地插入它。

INSERT INTO my_table(abc, def) VALUES (CAST('Hey' AS VARCHAR(255)),CAST('Hi' AS VARCHAR(255)));

推荐阅读