python - PySpark 多线程读取 Py4JNetworkError：Java 端的答案为空
问题描述
尝试在 PySpark 中使用 jdbc 从 Snowflake 并行读取数据时，我不断收到以下错误。它在使用非常少量的线程（例如 50）时工作正常，但在 100 左右时发生。该集群拥有巨大的资源 6k c/40T。我尝试过使用配置，但没有 PnC 帮助。这里分别是错误、火花配置和代码。
解决方案
推荐阅读
- django - Django startserver 无法识别内置 python 库？
- pip - 给出无效语法错误的基本 mlxtend 示例
- java - 如何模拟由类构建器创建的对象？
- regex - 正则表达式检测指定字符的任意组合
- javascript - 我怎么能以另一种方式编写这个随机数生成按钮/div 语法？
- apache - 将 S3 存储桶与 Sling 一起使用
- react-redux - 错误：选择存储状态时发生错误：无法读取未定义的属性“计数器”
- nginx - 在 Kubernetes 中使用单个复制时 NGINX 502 Bad Gateway
- sql-server - 在 SQL Server 数据库中移动 XML 文件后替换数据
- c# - c# 中的 SSAS 自动化 - 实用地重命名 c# 中的 AAS 属性