pyspark - AWS Glue-如何在 S3 中将动态帧编写为 .txt 文件并使用“|” 作为分隔符

Question

我想将动态框架作为文本文件写入 S3 并使用“|” 作为分隔符。

如何修改下面的代码，以便 Glue 将框架保存为 .txt 文件并使用“|” 作为分隔符。

glue_context.write_dynamic_frame.from_options(
        frame = frame,
        connection_type = "s3",    
        connection_options = {"path": outpath},
        format = "csv")

标签： pysparkapache-spark-sqlaws-glueaws-glue-spark

Answer 1

您可以将 DynamicFrame 转换为 spark 数据帧，并使用 spark 写入选项 sep 将其与分隔符一起保存。

df=frame.toDf()
df.write.option("sep","|").option("header","true").csv(filename)