scala - 使用 scala/spark 从 Intellij 读取 S3 存储桶文件

Question

如何使用 scala/spark 从安装在本地机器上的 Intellij ide 读取 Amazon s3 存储桶文件？

标签： scalaapache-sparkintellij-ideaamazon-s3

Answer 1

IntelliJ 并不重要。重要的是hadoop配置。如果您的 hadoop 配置具有关于 aws 的凭证变量，您可以从 S3 加载 DataFrame。您可以在 core-site.xml 中设置变量或设置 spark.hadoopConfiguration 的配置方法。

sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "")
sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey","")

请注意您使用的 s3 连接器。有一些连接器，如s3、s3a、s3n。如果您的连接器是 s3，请设置fs.s3.*，但如果您的连接器是 s3n，则应设置fs.s3n.*