hadoop - Cloud Data Fusion - 缺少现有的 Dataproc 选项
问题描述
根据文档,可以选择使用 6.2 及更高版本中的现有 Dataproc 集群。
我们使用 Cloud Data Fusion 6.2.0 ,但当我们尝试创建新的计算配置文件时 ,现有的 Dataproc不会出现。
我们做错了什么?为什么所描述的选项不显示?我们需要做一些额外的配置吗?
更新 1
更新 2
当我们尝试使用Remote Hadoop Provisioner时,我们在 /logs/program.log 文件中收到以下错误消息。SSH 连接成功,因为 run-id 文件夹在那里。
2021-06-15 09:40:37,617 - ERROR [main:o.a.z.s.NIOServerCnxnFactory@44] - Thread Thread[main,5,main] died
java.lang.reflect.InvocationTargetException: null
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_282]
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_282]
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_282]
at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_282]
at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteLauncher.main(RemoteLauncher.java:73) ~[launcher.jar:na]
Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) ~[hadoop-common-3.2.2.jar:na]
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338) ~[hadoop-common-3.2.2.jar:na]
at io.cdap.cdap.common.conf.CConfigurationUtil.copyTxProperties(CConfigurationUtil.java:100) ~[na:na]
at io.cdap.cdap.common.guice.ConfigModule.<init>(ConfigModule.java:62) ~[na:na]
at io.cdap.cdap.common.guice.ConfigModule.<init>(ConfigModule.java:49) ~[na:na]
at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionJobMain.initialize(RemoteExecutionJobMain.java:117) ~[na:na]
at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionJobMain.doMain(RemoteExecutionJobMain.java:98) ~[na:na]
at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionJobMain.main(RemoteExecutionJobMain.java:73) ~[na:na]
... 5 common frames omitted
解决方案
对于 6.2.0 ,“Remote Hadoop Provisioner”是用于现有 dataproc 集群的正确选项。您遇到的卡住问题是由 API 激活未能将必要角色分配给 Dataproc 特定服务帐户的罕见情况引起的。只需在您的项目中授予以下服务帐户“Dataproc 服务代理”角色即可解决此问题:
service-${项目编号}@dataproc-accounts.iam.gserviceaccount.com
推荐阅读
- python - 将图像从 mnist 加载到 numpy 数组中
- python - 无效的语法代码
- regex - 正则表达式否定向前看两个连续的空格字符
- javascript - Chrome 媒体控制 - 下载按钮
- android - 像 androidtv livetv 应用程序一样的 EPG 布局
- python - 在 opencv3 上进行视差映射的 cv2.StereoSGBM_create() 和 cv2.StereoBM_create() 函数有什么区别?
- php - 如何修复 UnexpectedValueException 引发的消息“无效的路由操作:...在 Laravel
- mysql - 如何在时间戳中获得最小值最大值
- botframework - 如何删除 Prompt.Choice 中的 tooManyAttempts 消息?如何接受 Prompt.Choice 中不在选项列表中的文本?C#
- node.js - MDN express 教程中使用的 express-validator