时间戳

首页 > 解决方案 > 将密码存储在 pyspark 脚本中的文件中

python - 将密码存储在 pyspark 脚本中的文件中

问题描述

我有 45 个 pyspark 脚本可以运行，每个脚本中都存储了密码。我想使用放置在 HDFS 中的文件，我可以在其中存储密码并将其用于所有脚本。

我不会更改密码，而是在文件中进行（请参阅下面的脚本）。

from pyspark.context import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql.functions import *
from pyspark.sql.types import *

sc = SparkContext()
sqlContext = HiveContext(sc)
sqlContext.setConf("spark.sql.tungsten.enabled", "false")

CSKU_query = """ (select * from CSKU) a """

CSKU = sqlContext.read.format("jdbc").options(url="jdbc:sap://myip:port",currentschema="SAPABAP1",user="username",password="mypassword",dbtable=CSKU_query).load()

CSKU.write.format("parquet").save("/user/admin/sqoop/base/sap/CSKU/")

它应该从我可以参考的文件中获取，而不是在每个脚本中指定密码。

提前致谢

标签： python

解决方案

推荐阅读