时间戳

首页 > 解决方案 > 如何在 AWS Glue 中使用 Crypto.Cipher AES？

python - 如何在 AWS Glue 中使用 Crypto.Cipher AES？

问题描述

我目前在我的 AWS lambda 函数中使用Crypto.Cipher AES从https://github.com/Doerge/awslambda-pycrypto获取的模块，它非常适合我的情况。

from Crypto.Cipher import AES
from botocore.vendored import requests

url = 'my_url'
PARAMS =  {'param1':'val1', 'param2':'val2'}
CIPHER_KEY = 'cipher_key'

req = requests.get(url, params = PARAMS).json()
ciphered_value = r['ciphered_value']
decipher = AES.new(CIPHER_KEY, AES.MODE_ECB)
value =  decipher.decrypt(ciphered_value)

但是，由于需要处理的值数量超过了我的 15 分钟限制，Lambda 失败了

我正在尝试运行 AWS Glue Python Shell 作业，该作业运行的代码与 Glue 完全相同的代码可以持续超过 15 分钟，并且允许我访问其他资源和 AWS Data Catalogue。

但是，当我运行我的工作时，我收到以下错误：

Traceback (most recent call last):
File "/tmp/runscript.py", line 115, in <module>
runpy.run_path(temp_file_path, run_name='__main__')
File "/usr/local/lib/python3.6/runpy.py", line 263, in run_path
pkg_name=pkg_name, script_name=fname)
File "/usr/local/lib/python3.6/runpy.py", line 96, in _run_module_code
mod_name, mod_spec, pkg_name, script_name)
File "/usr/local/lib/python3.6/runpy.py", line 85, in _run_code
exec(code, run_globals)
File "/tmp/glue-python-scripts-87edl8q9/playlist_ingestor_glue.py", line 10, in <module>
ModuleNotFoundError: No module named 'Crypto'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/tmp/runscript.py", line 134, in <module>
raise e_type(e_value).with_tracsback(new_stack)
AttributeError: 'ModuleNotFoundError' object has no attribute 'with_tracsback'

很明显，它无法读取 Crypto 模块。

ModuleNotFoundError：没有名为“加密”的模块

我跟着这个：

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-libraries.html

和这个：

https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html#create-python-egg-library

并添加了setup.py包含以下内容的文件：

from setuptools import setup

setup(
    name="Crypto",
    version="0.1",
    packages=['Crypto']

Crypto并将目录 +文件的内容压缩到我上传到 S3 并在我的 Glue 作业中引用setup.py的 zip 文件中。pycrypto.zipPython library path

模块压缩成 pycrypto.zip

毕竟这一切，我仍然得到错误。

我使用以下组合运行了我的脚本，但没有结果：

from Crypto.Crypto.Cipher import AES
from Crypto.Cipher import AES
from Cipher import AES

在 AWS Glue 中使用此编译模块的正确方法是什么？我觉得这很令人沮丧，因为兼容的 python 库非常有限，而且还没有很多示例、文档或社区帖子来解释如何实现这一点。

标签： pythonamazon-web-servicesaesaws-gluepycrypto

解决方案

发现这个问题

AWS 胶水 Python

建议使用这个：

import os
import site
from setuptools.command import easy_install
install_path = os.environ['GLUE_INSTALLATION']
easy_install.main( ["--install-dir", install_path, "<library-name>"] )
reload(site)


import <installed library>

所以我从https://pypi.org/project/pycrypto/#files获取了最新版本

import os
import site
from setuptools.command import easy_install
install_path = os.environ['GLUE_INSTALLATION']

easy_install.main( ["--install-dir", install_path, "https://files.pythonhosted.org/packages/60/db/645aa9af249f059cc3a368b118de33889219e0362141e75d4eaf6f80f163/pycrypto-2.6.1.tar.gz"] )
reload(site)

它正在工作！

不过，我想知道如何将它用作引用的 python 库。

推荐阅读