java - 在 spark java 中创建和管理 jdbc 连接的正确方法
问题描述
我正在用 java 构建一个 spark 应用程序，它将从多个表中获取记录并将它们存储在 spark 数据集中，然后将在 DB 中多次操作和更新这些记录。
目前我已经创建了一个包含数据库属性（url、user、pass 等）的广播地图，并且在每种方法中我都创建了一个新连接，使用它我在 jdbc 中运行我的 sql 查询。请注意，这发生在不同类的许多方法中。
我需要一种有效的方法来管理 jdbc 连接，这样它就不会创建多个连接，从而影响生产数据库的性能。有没有办法初始化一个 Hikari 池并将其发送到所有执行器/工作节点？或者欢迎任何其他有效的方式。