首页 > 解决方案 > 将 JavaRDD 写入外部数据库的最佳实践

问题描述

我有一个 JavaRDD,我需要将它保存到一些外部数据库。

最好的方法是什么,这样我就不会因为大量的连接而窒息我的数据库?也就是说 - 我想控制在我的 Spark 应用程序中创建的连接池的数量。

我相信这rdd.forEach将是一个糟糕的选择,因为它可能会为每一行创建一个连接池。我认为这rdd.foreachPartition可能更好,但不太确定。

标签: javaapache-sparkapache-spark-sql

解决方案


推荐阅读