首页 > 解决方案 > 在生产中运行批量 sql 的工具的建议

问题描述

在我当前的项目中,我需要将批量 sql 查询作为来自客户端的临时请求运行。数据库是sql server。以下是一些示例用例

用例 1. 从表 A(100 万条记录)中选择并与表 B(200 万条记录)连接并插入表 C

用例 2. 更新表 A(3000 万条记录)将所有日期设置为日期 - x。

目前,所有这些请求都是通过使用开发人员框中的 sql server 客户端连接完成的,但这看起来不是一个好方法,因为没有日志记录,并且如果 Internet 出现故障等情况,查询将断开连接。

我想要一个工具,可以让我上传此类查询并即时运行它们。这样我就可以在 prod 中部署它,然后使用这个工具/框架运行这些查询。也期望以下功能。

  1. 能够通过指定批量大小来批量运行插入/更新。
  2. 能够提供运行查询的日志。
  3. 显示工作进度的能力。

我看了一下 flink,spring datacloud,flink。我想看看是否有更好的框架来完成这项工作。

标签: sql-serverbulk

解决方案


推荐阅读