r - Sparklyr k8s gClouid - Pod 没有运行

Question

大家
正如标题所说，我很想知道为什么我不能通过 Sparklyr 连接到使用 kubernetes 的 gCloud 集群。

配置系统的步骤如下：

• 在 gCloud 上创建项目（免费版 300 美元）
• 在 MacOS 上安装云 SDK
• 在 MacOS 上使用 curl 安装 Kubectl 二进制文件
• 码头工人安装
• 通过终端：
• 配置集群
  gcloud config set compute/zone us-central1-f gcloud container clusters create spark-on-gke --machine-type n1-standard-2
• 将集群管理员绑定到电子邮件
  kubectl create clusterrolebinding user-admin-binding --clusterrole=cluster-admin --user=[e-mail] kubectl create clusterrolebinding --clusterrole=cluster-admin --serviceaccount=default:default spark-admin
• 从 R 连接到 MASTER_IP，导入 jluraschi 提供的公共图像
  remotes::install_github("rstudio/sparklyr”); library(sparklyr) sc <- spark_connect(config = spark_config_kubernetes( "k8s://https://<k8s-ip>", account = "default", image = "docker.io/jluraschi/spark:sparklyr", version = "2.4"))

出现的错误是： 来自服务器的错误（NotFound）：找不到pods“sparklyr-c27317e4b89”

标签： rapache-sparkkubernetesgcloudsparklyr

Answer 1

非常感谢您的回答！
在代码的末尾，您还将找到使用 gcloud 制作的 pod 配置的屏幕截图。相反，这是来自终端的结果：

MBP-di-Simone:~ simone$ kubectl get services
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.3.240.1   <none>        443/TCP   13d

MBP-di-Simone:~ simone$ kubectl get pods --all-namespaces
NAMESPACE     NAME                                                     
READY   STATUS    RESTARTS   AGE
default       alpine                                                   1/1     Running   0          13d
kube-system   event-exporter-v0.2.4-5f88c66fb7-67pb6                   2/2     Running   0          13d
kube-system   fluentd-gcp-scaler-59b7b75cd7-mbgxj                      1/1     Running   0          13d
kube-system   fluentd-gcp-v3.2.0-9dlx8                                 2/2     Running   0          5d8h
kube-system   fluentd-gcp-v3.2.0-9w6t2                                 2/2     Running   0          5d8h
kube-system   fluentd-gcp-v3.2.0-dwrlz                                 2/2     Running   0          5d8h
kube-system   heapster-5f6cdd4bd-qmlhb                                 3/3     Running   0          13d
kube-system   kube-dns-79868f54c5-5sqvb                                4/4     Running   0          13d
kube-system   kube-dns-79868f54c5-g9h4q                                4/4     Running   0          13d
kube-system   kube-dns-autoscaler-bb58c6784-9bbcg                      1/1     Running   0          13d
kube-system   kube-proxy-gke-spark-on-gke-default-pool-7fad1be1-2279   1/1     Running   0          13d
kube-system   kube-proxy-gke-spark-on-gke-default-pool-7fad1be1-70hn   1/1     Running   0          13d
kube-system   kube-proxy-gke-spark-on-gke-default-pool-7fad1be1-pnpj   1/1     Running   0          13d
kube-system   l7-default-backend-fd59995cd-8tzjv                       1/1     Running   0          13d
kube-system   metrics-server-v0.3.1-57c75779f-gz776                    2/2     Running   0          13d
kube-system   prometheus-to-sd-ktvbk                                   2/2     Running   0          13d
kube-system   prometheus-to-sd-tmwkw                                   2/2     Running   0          13d
kube-system   prometheus-to-sd-xxx4p                                   2/2     Running   0          13d

MBP-di-Simone:~ simone$ kubectl describe pods [sparklyr-2e62d04d5dd]
Error from server (NotFound): pods "[sparklyr-2e62d04d5dd]" not found
MBP-di-Simone:~ simone$

gCloud 集群 a
gCloud 集群 b
gCloud 集群权限
gCloud 集群标签