amazon-s3 - 如何使用 Python Jupyter Notebook 通过 KMS 加密从 S3 读取文件

Question

我正在尝试使用 spark.read.csv 从 S3 读取文件。但是，我无法读取具有 KMS 加密的文件。我有可用的 KMS 密钥。如何在配置时在 spark 会话中指定它们。

标签： amazon-s3pysparkjupyter-notebookamazon-kms

Answer 1

对于 SSE-KMS，它是自动的：当文件被加密时，密钥 ID 与对象一起存储，为了解密文件 S3 端它直接与 KMS 对话进行解密（如果您可以读取密钥）

对于客户端，AWS EMR 确实支持这一点。开源 S3A 连接器没有，因为多年来 S3 客户端加密总是填充数据，因此事情会中断。现在情况有所改变，但没有人（2021 年 1 月）提供补丁