amazon-web-services - Pyspark - 从 Amazon S3 读取文件的安全问题
问题描述
我正在尝试使用 pyspark 从 Amazon S3 存储桶中读取 csv 文件,但出现以下错误消息:
: java.lang.SecurityException: 类“com.amazonaws.auth.EnvironmentVariableCredentialsProvider”的签名者信息与同一包中其他类的签名者信息不匹配
我试图在 Internet 上查找,但没有发现重要的东西。
我试过的:
- 只需使用环境变量作为凭据
- 只需使用 .aws/credentials 作为凭据
- 只需使用 spark-defaults.conf 凭据
但这些都不起作用。
我使用 Spark 3.1.1 和 Pycharm 作为 IDE。
有没有人遇到过这种类型的问题?
解决方案
推荐阅读
- f# - 如何以紧凑的方式避免意外的部分应用?
- python - SikuliX + python,编辑导入模块后出现奇怪的NameError
- azure - CosmosDB MongoDB API:新查询被隐藏
- url - 如何从 URL 选项中使用 Qualtrics 的图形从 GitHub 图形中提取
- java - 如何重载和重用类构造函数java
- java - 无法从命令行运行命令:ffmpeg 不转换文件
- java - Selenium chrome 无头问题,卡在登录页面
- javascript - 如何单击没有任何 id 或 name 属性的按钮
- ios - WKWebViews 共享 cookie 存储
- django - 应用程序工作但无法访问 Django 管理页面 - DoesNotExist at /admin