scala - 累加器未显示在 Spark UI 中
问题描述
我已经实现了累加器来查看我的代码中的事件计数。但我在 Spark UI 中看不到它们。我正在使用以下东西：
val count_Of_2317508_1 = sc.longAccumulator("count_Of_2317508_1")
count_Of_2317508_1.add(1)
在某种条件下。
这足以让它显示在 Spark UI 上吗？
解决方案
您可以创建带或不带名称的累加器，但只有命名的累加器才会显示在 Web UI 中（在给定阶段的阶段选项卡下）。
由于您已经创建了命名累加器，它应该会出现。
val counter = sc.longAccumulator("counter")
推荐阅读
- android - 使用 FlutterActivity 时如何将数据从 java 模块传输到 Flutter？
- javascript - 按下Javascript中的按钮后如何重新聚焦在文本字段中的位置？
- multithreading - 在多线程上下文中使用带有生菜的 Spring-Data-Redis 的 OutOfDirectMemoryError
- c++ - 同步 gRPC 服务器的线程/IO 模型是什么？(C++)
- mysql - 是否可以在 bulk_create() Django 上设置外键？
- python - 使用python将文件夹结构中多个文件夹中的多个pdf合并为1个PDF
- javascript - 如何找出不包含任何类的元素？
- python - 为什么 Flask 会在动态 url 到达“？”时立即停止输入？
- wkwebview - iOS 13.4.1 更新后 WKWebView 无法识别点击手势
- powershell - 通过调用变量初始化谷歌浏览器