时间戳

首页 > 解决方案 > EMR 和 MRJOB：TERMINATED_WITH_ERRORS：给定的 SSH 密钥名称无效

python - EMR 和 MRJOB：TERMINATED_WITH_ERRORS：给定的 SSH 密钥名称无效

问题描述

我在 AWS 上使用 EMR运行示例 mrjob ( https://github.com/Yelp/mrjob ) 时遇到问题。

生成以下错误：

Using configs in /home/ciceromoura/.mrjob.conf
Creating temp directory /tmp/MR-DataMining-3.ciceromoura.20200606.202114.850991
writing master bootstrap script to /tmp/MR-DataMining-3.ciceromoura.20200606.202114.850991/b.sh
uploading working dir files to s3://datalake-exemplo/tmp/MR-DataMining-3.ciceromoura.20200606.202114.850991/files/wd...
Copying other local files to s3://datalake-exemplo/tmp/MR-DataMining-3.ciceromoura.20200606.202114.850991/files/
Created new cluster j-3342SIBA7GY23
Added EMR tags to cluster j-3342SIBA7GY23: __mrjob_label=MR-DataMining-3, __mrjob_owner=ciceromoura, __mrjob_version=0.7.3
Waiting for Step 1 of 2 (s-2Z88F1LWZ8HPL) to complete...
  CANCELLED (Job terminated)
Cluster j-3342SIBA7GY23 was TERMINATED_WITH_ERRORS: The given SSH key name was invalid
Step 1 of 2 failed
Terminating cluster: j-3342SIBA7GY23

我的配置文件（mrjob.conf）：

runners:

  emr:
    aws_access_key_id: xxxxxxxxxxx
    aws_secret_access_key: xxxxxxxxxxxxx
    ec2_key_pair: EMR
    ec2_key_pair_file: ~/.ssh//EMR.pem
    ssh_tunnel: true
    instance_type: m5.xlarge
    num_core_instances: 3

执行的命令：

python3 MR-DataMining-3.py -r emr s3://bucket/file.txt --output-dir=s3://bucket/output/ --cloud-tmp-dir=s3://bucket/tmp

我已经检查了 ssh 密钥，对其进行了更改，生成了另一个，但错误仍然存​​在。集群是自动创建的，对吧？我究竟做错了什么？你需要AMI吗？

标签： pythonmapreduceamazon-emrmrjob

解决方案

推荐阅读