scala - sparkSQL：“作业中未指定输入路径”，但同样的语句在 spark-shell 中工作

Question

使用 scala 在客户端模式下运行 spark 代码时，

sqlContext.sql(select columname from databasename.tablename).agg(max(columname))

给出错误

“作业中未指定输入路径”。

但是同样的声明在 spark-shell repl 中工作得非常好。

任何人都可以建议为什么会出现这个错误

标签： scalaapache-sparkapache-spark-sqlspark-submit

Answer 1

通过从 spark-submit 设置/删除 spark 配置参数spark.sql.parquet.cacheMetadata=false。默认情况下，此参数设置为 true。此更改后问题已解决。