mysql - Flume Spark 流式传输到 Mysql 数据库

Question

我有 Spark 单节点，我将使用 Apache Flume -> Spark -> Mysql将数据流式传输到 mysql ，我使用了 foreachPartition方法，但数据插入速度越来越慢，并且 Spark UI 中有一个队列。

有什么建议可以改善这种数据插入。我需要每秒处理 3000 行。

标签： mysqlapache-sparkflume

Answer 1

请为您的查询提供配置详细信息。
您是否使用 mysql 的批量导入。