amazon-emr - 如何使用 EMRFS 通过结构化流进行检查点?
问题描述
我一直在使用 S3 通过结构化流进行检查点。但是,我得到了与 S3 中的最终一致性相关的 FileNotFound 异常。
以下是我目前拥有的 S3 检查点。
val msg = testMsgs.writeStream.option("checkpointLocation",
s3://<bucket-name>/checkpoint123).foreach(writer).start
我计划在 EMR 中运行我的 spark 作业时切换到 EMRFS。
EMRFS 的可靠性如何以及如何使用 EMRFS 进行检查点?
我们实施检查点的方式会发生变化吗?
如何在 EMR 中启用 EMRFS?
解决方案
推荐阅读
- c++ - 使用 ESP32 通过 HTTP Web 服务器将 MLX90640 IR 视频流式传输为 MJPEG
- python - 在 Python 中可视化时间序列数据 - 故障排除帮助 + 有关最佳实践的问题
- graph - Manim Community v0.5.0的Graph类有问题吗?
- php - 如何使用faker从aray生成随机元素(不为null并且至少有6个元素)
- css - 如何使此弹出窗口不显示在主标题后面
- repository - 如何遵循语义版本控制和保持变更日志约定?
- .htaccess - 浏览器 + 推荐人未被 htaccess 阻止
- python - Selenium 迭代相同的 url
- java - 当处理我的应用程序并从最近重新打开它时,相机无法加载你们中的任何人都可以给我解决方案吗
- arrays - 匹配来自猫鼬中另一个数组的数组元素/元素(至少一个)