apache-spark - 在 Spark 结构化流中处理来自传入运动流的空批次
问题描述
我们正在从 kinesis 读取数据并使用 spark 结构流将其输出到文件中。当流中没有数据时，kinesis 实现正在生成空批次。这些空批次正在创建空白文件作为输出？知道我们如何阻止火花写出空白文件
解决方案
分区输出修复了空集问题
推荐阅读
- python - 如果包含多个字符，Python 不能识别子字符串？
- javascript - javascript数组值作为变量名，我如何从函数中获取它们
- linux - 从 docker 容器内提供服务到 Windows 下的主机
- c++ - 包括 Python.h 错误：未找到 initconfig.h
- java - 使用 MockMvc 和 JUnit 5 测试 LocalDate 时出现 AssertionError
- amazon-web-services - 更改由 AWS ASG 通知创建的警报优先级
- java - 不确定如何清除 concurrentModificationException
- c++ - Aseprite 构建不会超过 MacOs Catalina 上的 cmake 阶段
- python - 是否有在 Apache UIMA C++ 框架中为 Pythonnator 创建 Python > 2.4 支持的工作？
- compilation - 编译的内核卡在“正在加载初始 ramdisk”