python - 我可以将 pyodbc executemany 与 sql 存储过程一起使用吗?
问题描述
我需要将大量数据从 pandas 数据帧写入 MS-SQL 表(一次 1000 行甚至更多行)。
我正在使用pyodbc executmany
with fast_executemany=True
,否则每张桌子都需要几个小时。现在,出于安全原因,IT 人员希望我开始使用存储过程而不是直接访问数据库。
问题是,据我所见,SQL 怎么说呢,不如 python 灵活,而且我必须声明传递给 SP 的每个变量,所以我看不到如何将 SP 传递给df.values.tolist()
as我今天正在使用executemany
直接访问数据库的功能。
例如,假设我有一个数据框 df:
身份证姓名工资
1 乔希 10000
2 迈克尔 5000
3 萨拉 8000
今天我会使用:
cursor.fast_executemany = True
insert_str = "INSERT INTO [%s].[%s] VALUES (?, ?, ?)"
cursor.executemany(insert_str % (scheme, table), df.values.tolist()])
并且所有数据框都将立即(并且快速)插入到表中。但是,似乎不可能通过调用 SP 来做同样的事情。
有没有办法使用pyodbc executemany
存储过程?
解决方案
是的,我们可以executemany
在 SQL Server 中使用存储过程:
桌子:
CREATE TABLE [dbo].[Table_1](
[id] [int] NOT NULL,
[name] [nvarchar](50) NULL,
[salary] [int] NULL,
CONSTRAINT [PK_Table_1] PRIMARY KEY CLUSTERED
(
[id] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]
存储过程:
CREATE PROCEDURE [dbo].[Table_1_insert]
@id int = 0,
@name nvarchar(50),
@salary int
AS
BEGIN
SET NOCOUNT ON;
INSERT INTO Table_1 (id, name, salary) VALUES (@id, @name, @salary);
END
Python代码:
df = pd.DataFrame(
[(1, 'Josh', 10000), (2, 'Michael', 5000), (3, 'Sara', 8000)],
columns=['id', 'name', 'salary'])
crsr.executemany("{CALL dbo.Table_1_insert(?, ?, ?)}", df.values.tolist())
cnxn.commit()
推荐阅读
- loopbackjs - @loopback/rest RestBindings.Http.request 返回一个空查询变量
- javascript - 在类引用的多个 div 的内容中搜索数组的字符串,并根据条件执行操作
- go - 为什么构建约束会排除 '/Users/rpurusho/go/src/google.golang.org/api/compute/v1' 中的所有 Go 文件?
- python-3.x - NoSuchModuleError:teradata 无法加载插件 sqlalchemy
- python - 使用 python 访问远程数据库服务器
- ruby - 如何在没有 Ruby 的情况下获得 RUBY_PLATFORM 值?
- php - 如何使用本地存储的 JSON 文件填充下拉列表
- python - python子进程调用的sed中的转义错误
- azure - 在 Azure Cosmos 存储过程中递归获取文档
- swift - 删除行后无法禁用表格编辑