首页 > 解决方案 > 将纱线输出保存到 .txt 文件

问题描述

我正在尝试使用以下代码将 spark 会话 sql 查询的输出打印到 txt 文件: rd 是我要查询的项目列表

    for item in rd:
        nquery = sqlquery.format(keyword = item)
        df = spark.sql(nquery)
        df.coalesce(1).write.format('txt').save("tmp/myresults.txt", header='true')

当我使用 spark submit 执行此操作时,我收到错误“无法找到数据源 - txt”。谁能帮我解决它或将纱线应用程序的输出写入文本文件?提前致谢。

标签: pythonfile-iohadoop-yarn

解决方案


推荐阅读