apache-spark - Kubernetes + Spark 作业未进行/卡住
问题描述
我正在尝试在 Kubernetes 集群上运行 pyspark 代码。
应用流程应该是：读取数据 -> 缓存 -> 执行多个操作，但作业根本没有进展。它卡在日志消息上：
WatchConnectionManager: The resource version -some number- no longer exists. Scheduling a reconnect.
可能是什么问题呢？
解决方案
看起来像 Spark 中的一个问题，应该在版本 3.0.2、3.1.0 中修复
推荐阅读
- dynamics-crm - CRM 2013 Onprem：在 CRM 中登录的用户访问区域
- php - 为sql中的列设置唯一约束
- ios - 可以将 PWA 应用发布到应用商店 Swift
- python - 我们如何在不中断实时流量的情况下更新已部署的 Flask 应用程序？
- angular - 错误：无法匹配任何路由。URL 段：'admin/projects/projectssCategory/list'
- reactjs - 反应 useEffect 钩子导致无限循环
- node.js - 如何删除带有猫鼬ID的文档？
- android - 如何从班级外部正确访问我的 MainActivity？
- c# - 尝试使用 Automapper 映射列表时出错
- php - 我如何在 Laravel 6 中使用 DocuSign。*