python - 使用 csv 文件创建增量表

Question

我正在尝试在数据块中创建增量表。我使用此链接作为学习的参考。这里提到对于所有文件类型，我需要将文件读入 DataFrame 并以 delta 格式写出：。所以我在python中编写了以下代码

import pandas as pd
df=pd.read_csv('my file path/data.csv')
df.write.format("delta").save("/mnt/delta/df")
spark.sql("CREATE TABLE df USING DELTA LOCATION '/mnt/delta/df/'")

但我收到了错误信息

'DataFrame' object has no attribute 'write'

你能帮我解决这个问题吗？

标签： python

Answer 1

希望这会有所帮助

myCSV= spark.read.csv("/path/to/input/data",header=True,sep=","); 
myCSV.write.format("delta").mode("overwrite").option('overwriteSchema','true').save("/mnt/delta/Employee") 
spark.sql("CREATE TABLE employee USING DELTA LOCATION '/mnt/delta/Employee/'")