json - 特定列的雪花“复制到”转义多行

Question

我是 pyspark 和雪花的新手 我在 csv 的 s3 中有一个文件，它在多行中有一个 json 格式的列，它没有被加载到雪花中，我试过了

不起作用，有什么建议吗？

气流 DAG 代码：（将 s3 加载到雪花）

FROM s3://***********
TYPE = CSV  field_delimiter = ',' RECORD_DELIMITER = '\\n' skip_header = 1 COMPRESSION='NONE' EMPTY_FIELD_AS_NULL = FALSE  FIELD_OPTIONALLY_ENCLOSED_BY = '"' NULL_IF=('') )'''

Spark code: df2=spark.read.format('csv').options(header='true', inferschema='true').option("sep", ",").option("escape", ",").option("escape "\"").option("multiline","true").load(s3_path)```

标签： jsoncsvpysparksnowflake-cloud-data-platform