scala - Spark Streaming：跨批次聚合值
问题描述
我们有一个 Spark Streaming 作业，它计算每批中的一些值。我们现在需要做的是汇总所有批次的值。在 Spark Streaming 中执行此操作的最佳策略是什么。我们应该为此使用“Spark Accumulators”吗？
解决方案
推荐阅读
- swift4 - 如何修复“appendingPathComponent”不可用：在 URL 错误上使用 appendingPathComponent
- android - 在运行时更改区域设置不会影响片段
- machine-learning - 在一个句子中使用 word2vec
- javascript - 在 Windows 10 1809 上的 IE 11 上运行 selenium 测试 - 没有打开新窗口
- java - Docker Compose 链接的微服务不可发现
- python - 使用自定义顺序对熊猫中的列进行排序以获取未知数量的列
- verilog - 关于异步复位如何在复位边缘工作的问题
- excel - 尝试按字符串表号排序
- javascript - 数组未正确索引
- javascript - 有什么方法可以删除 gojs 中的 nodeArrayelements