performance - 调整写入配置时触发 cassandra 连接器写入超时

Question

在将数据从 spark 插入到 cassandra 时，我注意到管道中的吞吐量非常低（每个核心小于 1 MB/s）。在尝试调整 write conf ( spark.cassandra.output.concurrent.writes, spark.cassandra.output.batch.grouping.keyand spark.cassandra.output.batch.size.rows) 时，我很快就会出现写入超时。

我的问题：

• 批量写入数据（通过spark）时是否建议/正常增加cassandra写入超时？
• 是否可以仅针对 spark 工作负载增加它？还是仅用于批量写入？
• 默认值为spark.cassandra.output.batch.size.bytes1024，我发现默认值太低了，我猜大多数时候对应 1 或 2 行，我错过了什么吗？

我正在使用 spark-cassandra-connector 2.4.3

标签： performanceapache-sparkcassandraspark-cassandra-connector