首页 > 解决方案 > Spark SQL、pyspark中可以使用SQL递归吗?

问题描述

我们可以在 Spark SQL 中使用递归公用表表达式 (CTE) 并在 pyspark 中进行递归吗?

如果没有,我们有没有办法在 Spark 的分布式存储环境中使用 Python(即 Pandas 或 UDF)来做到这一点?我知道一个递归实现解决方案,但它使用 Scala,我的项目中没有使用它。

标签: apache-sparkpysparkapache-spark-sql

解决方案


推荐阅读