python - 从熊猫数据框列更新 slqalchemy orm 列的正确方法是什么
问题描述
我已经加载了一些数据并修改了数据框中的一列,并希望更新数据库以反映更改。
我试过:
db.session.query(sqlTableName).update({sqlTableName.sql_col_name: pdDataframe.pd_col_name})
但这只是清除了数据库中的列(将每个值设置为“0”,默认值)。我尝试了其他一些数据格式,但没有成功。我猜我混合的数据类型有些奇怪,或者你只是不允许直接使用这样的变量更新列。
我可以用循环来做到这一点,但是......那真的很糟糕。很抱歉这个基本问题,在一个项目中休息了很长时间之后,我对 sqlalchemy 的掌握肯定已经减弱了。
解决方案
要将 DataFrame 上传到临时表,然后执行 UPDATE,您无需自己编写 SQL,您可以让 SQLAlchemy Core 为您完成:
import pandas as pd
import sqlalchemy as sa
def update_table_columns_from_df(engine, df, table_name, cols_to_update):
metadata = sa.MetaData()
main_table = sa.Table(table_name, metadata, autoload_with=engine)
pk_columns = [x.name for x in main_table.primary_key.columns]
df.to_sql("temp_table", engine, index=False, if_exists="replace")
temp_table = sa.Table("temp_table", metadata, autoload_with=engine)
with engine.begin() as conn:
values_clause = {x: temp_table.columns[x] for x in cols_to_update}
where_clause = sa.and_(
main_table.columns[x] == temp_table.columns[x] for x in pk_columns
)
conn.execute(
main_table.update().values(values_clause).where(where_clause)
)
temp_table.drop(engine)
if __name__ == "__main__":
test_engine = sa.create_engine(
"postgresql+psycopg2://scott:tiger@192.168.0.199/test",
echo=True, # (for demonstration purposes)
)
with test_engine.begin() as test_conn:
test_conn.exec_driver_sql("DROP TABLE IF EXISTS main_table")
test_conn.exec_driver_sql(
"""\
CREATE TABLE main_table (
id1 integer NOT NULL,
id2 integer NOT NULL,
txt1 varchar(50),
txt2 varchar(50),
CONSTRAINT main_table_pkey PRIMARY KEY (id1, id2)
)
"""
)
test_conn.exec_driver_sql(
"""\
INSERT INTO main_table (id1, id2, txt1, txt2)
VALUES (1, 1, 'foo', 'x'), (1, 2, 'bar', 'y'), (1, 3, 'baz', 'z')
"""
)
df_updates = pd.DataFrame(
[
(1, 1, "new_foo", "new_x"),
(1, 3, "new_baz", "new_z"),
],
columns=["id1", "id2", "txt1", "txt2"],
)
update_table_columns_from_df(
test_engine, df_updates, "main_table", ["txt1", "txt2"]
)
"""SQL emitted:
UPDATE main_table
SET txt1=temp_table.txt1, txt2=temp_table.txt2
FROM temp_table
WHERE main_table.id1 = temp_table.id1 AND main_table.id2 = temp_table.id2
"""
df_result = pd.read_sql_query(
"SELECT * FROM main_table ORDER BY id1, id2", test_engine
)
print(df_result)
"""
id1 id2 txt1 txt2
0 1 1 new_foo new_x
1 1 2 bar y
2 1 3 new_baz new_z
"""
推荐阅读
- android - 带有“startForeground(..) 的服务仅在应用程序处于后台时才需要显示通知
- android - Android MediaDataSource 意外行为
- python - 如何使用 pandas 在 python 中读取 Excel 文件?
- javascript - React Native Expo AV - 音频不播放
- javascript - 如何重新加载 chrome://inspector android webview devtools
- python - read_excel() 函数自动将 int 转换为 float
- amazon-web-services - 在 Python 中使用 AWS DynamoDB CRUD 函数的问题
- c++ - 获取数组的所有连续相同数字的块
- php - Prestashop 1.7 产品列表每 30 秒刷新一次并在 ajax 调用中更新内容
- c - K&R中的自指结构