java - 将 JavaRDD 写入外部数据库的最佳实践
问题描述
我有一个 JavaRDD,我需要将它保存到一些外部数据库。
最好的方法是什么,这样我就不会因为大量的连接而窒息我的数据库?也就是说 - 我想控制在我的 Spark 应用程序中创建的连接池的数量。
我相信这rdd.forEach
将是一个糟糕的选择,因为它可能会为每一行创建一个连接池。我认为这rdd.foreachPartition
可能更好,但不太确定。
解决方案
推荐阅读
- javascript - 为什么在间隔完成之前我的代码没有运行?
- python - 如何确保我在 jupyter notebook 中使用的 py env 使用的是我从 github 克隆的转换器版本/代码?
- python - 查找具有特定值的相邻行并获取时间差 python pandas
- java - 如何允许 Java 从扫描仪中获取 /n 并打印 ASCII 值
- python - 如何使用带有编解码器值的 python .replace 来删除特殊字符?
- r - 无法设置从 Rtools 到 R 的路径
- c++ - C ++将类传递给构造函数=不传递相同的实例?
- java - 运行 '/usr/libexec/java_home -V' 显示不存在的路径
- javascript - 我如何将这些数字连接在一起?
- c# - Mobile Blazor Binding 是否类似于在 Razor 模板中使用 XAML 进行编码?