python - Apache Spark：执行程序卡在 Python 警告上

Question

我正在使用 Pyspark 运行一些测试，并偶然发现了一件奇怪的事情——在收到来自 Python 代码的相对无害的警告后，Spark 执行器似乎停止执行而没有失败。就我而言，来自 Pandas 的警告通知我某些方法已被弃用。

那么为什么会发生这种情况以及我可以使用哪些 Spark 设置来避免这种情况的问题呢？

• 在 EMR 上触发 2.3.0
• 蟒蛇 2.7.13
• 熊猫：0.23.0

警告信息：

warning: 'FutureWarning: Method .as_matrix will be removed in a future version. Use .values instead'

此外，这似乎不是在执行者收到第一个警告后立即发生，而是在达到一些临界质量之后（我的情况可能是每个执行者有几十个警告）。

标签： pythonpandasapache-sparkwarnings