amazon-web-services - Glue-AWS - 文件拼花没有信息为什么有人可以帮助我
问题描述
运行作业时没有错误,但成功消息而且我希望在生成文件之前它会覆盖文件
/*
import sys
from awsglue.transforms import
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
##new
from pyspark.sql.functions import lit
import datetime
DataSource0, connection_type = "s3",
format = "parquet", connection_options = {"path": "s3://xxxxxx", "partitionKeys": []}, transformation_ctx = "DataSink0")
now = datetime.datetime.now()
datasourceDF0 = DataSource0.toDF().withColumn("date-new", lit(str(now)[:10]))
datasourceDF0.write.format("parquet").mode("overwrite").save("s3://xxxxxx")
job.commit()**strong text**
*/
解决方案
推荐阅读
- php - CSS - 隐藏图像的溢出不起作用
- c# - 从 C++ 到 C# 的双指针结构的元帅 char*
- numpy - 变化范围导致分布不正常
- sql - 如何根据列值使用 Group By?
- c++ - Vector C++ 中超出内存限制
- mysql - 如何在mysql中的某些字符(-)之后对数字进行排序
- python - 我从 psycopg2 收到语法错误。如果我使用 sqlite3 它可以工作
- bash - 为什么我在 bash 中收到有关非整数的错误?
- graph - IFC 通过 python 和 IfcOpenShell 到 Cypher
- c++ - 如何使以下多重继承在 C++ 中工作