时间戳

首页 > 解决方案 > 获取从 CDH Hadoop 集群连接到 S3 的“peer not authenticated”异常

hadoop - 获取从 CDH Hadoop 集群连接到 S3 的“peer not authenticated”异常

问题描述

我正在尝试在 Hadoop CDH 集群上运行 hadoop 作业，并且当 Hadoop 作业尝试从 S3 存储桶读取数据时出现错误。看起来它正在尝试通过 SSL 连接。有什么方法可以显式禁用 SSL 连接？

javax.net.ssl.SSLPeerUnverifiedException: peer not authenticated
at com.sun.net.ssl.internal.ssl.SSLSessionImpl.getPeerCertificates(SSLSessionImpl.java:352)
at com.cloudera.org.apache.http.conn.ssl.AbstractVerifier.verify(AbstractVerifier.java:126)
at com.cloudera.org.apache.http.conn.ssl.SSLSocketFactory.connectSocket(SSLSocketFactory.java:437)

标签： hadoopsslamazon-s3cloudera

解决方案

显然，设置以下属性core-site.xml解决了这个问题。这将在连接到 Amazon S3 时禁用 SSL 连接。参考：有关更多详细信息，请查看通用 S3A 客户端配置部分。

 <property>
    <name>fs.s3a.connection.ssl.enabled</name>
    <value>false</value>
  </property>

更新：就我而言，我使用rhel-6.6with Cloudera Manager (CM) 5.6.0，当我更新rhel到时rhel-6.10，我开始看到上述错误。根据Cloudera Manager 和 OS 兼容性列表，此错误的原因rhel-6.10是与Cloudera Manager 5.6.0. 所以我必须升级Cloudera Manager to 5.11.0才能解决上述问题。

推荐阅读