首页 > 解决方案 > 遵循“配置多个调度程序”Kubernetes 指南时发生错误

问题描述

当我尝试遵循Kubernetes 配置多个调度程序指南时,我无法成功运行 my-scheduler pod。

我成功构建了图像并将其推送到注册表,图像显示在我的 docker 和 Google 可能平台中。但是当我应用部署文件来设置 pod 时,状态是CrashLoopBackOff.

my-scheduler-64576b7897-8b549            0/1     CrashLoopBackOff   14         84m

这是输出kuberctl describe pod my-scheduler-64576b7897-8b549 -n kube-system

Name:               my-scheduler-64576b7897-8b549
Namespace:          kube-system
Priority:           0
PriorityClassName:  <none>
Node:               minikube/10.0.2.15
Start Time:         Tue, 07 May 2019 15:06:59 -0500
Labels:             component=scheduler
                    pod-template-hash=64576b7897
                    tier=control-plane
                    version=second
Annotations:        <none>
Status:             Running
IP:                 172.17.0.15
Controlled By:      ReplicaSet/my-scheduler-64576b7897
Containers:
  kube-second-scheduler:
    Container ID:  docker://a0cadf03dd5ffd11cbb6f1f8e669fc04cd6aa00aa6f361550f06f32785a4d63c
    Image:         gcr.io/my-gcp-project-239900/my-kube-scheduler:1.0
    Image ID:      docker-pullable://gcr.io/my-gcp-project-239900/my-kube-scheduler@sha256:0895687b7646d159438f086e8f8b23b253332930e169cf29d8b9951ebf3ba653
    Port:          <none>
    Host Port:     <none>
    Command:
      /usr/local/bin/kube-scheduler
      --address=1.1.1.1
      --leader-elect=false
      --scheduler-name=my-scheduler
    State:          Terminated
      Reason:       Error
      Exit Code:    1
      Started:      Tue, 07 May 2019 15:07:45 -0500
      Finished:     Tue, 07 May 2019 15:07:45 -0500
    Last State:     Terminated
      Reason:       Error
      Exit Code:    1
      Started:      Tue, 07 May 2019 15:07:24 -0500
      Finished:     Tue, 07 May 2019 15:07:24 -0500
    Ready:          False
    Restart Count:  3
    Requests:
      cpu:        100m
    Liveness:     http-get http://:10251/healthz delay=15s timeout=1s period=10s #success=1 #failure=3
    Readiness:    http-get http://:10251/healthz delay=0s timeout=1s period=10s #success=1 #failure=3
    Environment:  <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from my-scheduler-token-lzwvk (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             False
  ContainersReady   False
  PodScheduled      True
Volumes:
  my-scheduler-token-lzwvk:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  my-scheduler-token-lzwvk
    Optional:    false
QoS Class:       Burstable
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type     Reason     Age               From               Message
  ----     ------     ----              ----               -------
  Normal   Scheduled  48s               default-scheduler  Successfully assigned kube-system/my-scheduler-64576b7897-8b549 to minikube
  Normal   Pulled     2s (x4 over 47s)  kubelet, minikube  Container image "gcr.io/my-gcp-project-239900/my-kube-scheduler:1.0" already present on machine
  Normal   Created    2s (x4 over 47s)  kubelet, minikube  Created container kube-second-scheduler
  Normal   Started    2s (x4 over 47s)  kubelet, minikube  Started container kube-second-scheduler
  Warning  BackOff    1s (x6 over 45s)  kubelet, minikube  Back-off restarting failed container

当我尝试查看此 pod 的日志时,会出现以下错误消息:

 standard_init_linux.go:207: exec user process caused "exec format error"

Dockerfile的和指南有点不同,它看起来像:

FROM busybox
ADD ./_output/local/bin/darwin/amd64/kube-scheduler /usr/local/bin/kube-scheduler

我变了

ADD ./_output/dockerized/bin/linux/amd64/kube-scheduler /usr/local/bin/kube-scheduler

进入

ADD ./_output/local/bin/darwin/amd64/kube-scheduler /usr/local/bin/kube-scheduler

因为./_output/local/bin/darwin/amd64/kube-scheduler是调度程序文件实际所在的位置。如果有人能告诉我为什么会发生这种情况,我也将不胜感激。


一些更新

不同的文件位置

按照指南,我在 shell 中输入了这些命令

git clone https://github.com/kubernetes/kubernetes.git
cd kubernetes
make

通过执行make,该Makefile文件将生成特定路径下的kubernetes exec 文件(包括我们想要的kube-scheduler)。并且生成路径与您的系统有关。由于我使用minikube来运行 kubernetes 和 docker,并且它在darwin(amd64)上运行。我认为这就是我的路径与指南不同的原因。

“执行格式错误”

对于这个错误

 standard_init_linux.go:207: exec user process caused "exec format error"

我发现这个问题建议#!/bin/bash在您尝试在容器中运行命令之前添加。这告诉系统将命令视为 bash 命令。在busybox中应该是/bin/sh。(我对shell语言机制了解不多,如有错误请指正)

所以我改变了这些行my-sheduler.yaml

- command:
 - /usr/local/bin/kube-scheduler
 - --address=0.0.0.0
 - --leader-elect=false
 - --scheduler-name=my-scheduler

进入

- command:
 - /bin/sh
 - /usr/local/bin/kube-scheduler
 - --address=0.0.0.0
 - --leader-elect=false
 - --scheduler-name=my-schedule

现在my-shedulerpod 仍然失败并得到CrashLoopBackOff错误。好消息是我现在在执行时有日志kubectl logs。坏消息是日志像这样不可读

/usr/local/bin/kube-scheduler: line 1: ����: not found
/usr/local/bin/kube-scheduler: line 2: syntax error: unexpected ")"

我认为这是因为 docker 映像中发生了一些事情。但由于我使用的是kubernetes github 页面中的脚本,所以不应该有任何错误。

当我运行docker run -it {my-image-id} /bin/sh并进入我的映像并运行 exec kube-scheduler 文件时,会显示相同的日志。

我无法弄清楚 GO 脚本中的内容导致了这个问题。


另一种选择

我最终尝试了另一种方式来构建我的自定义调度程序。

我遵循了本教程:https ://www.youtube.com/watch?v=IYcL0Un1io0&t=1807s

你可以在这里找到源代码:https ://github.com/kelseyhightower/scheduler

与官方指南相比,这个更清晰(在官方指南中,您必须构建整个东西才能获得调度程序文件)。

如果有人遇到同样的问题,希望这会有所帮助。

标签: gokubernetesscheduler

解决方案


这看起来就像您正在使用darwin kube-schedulergo 二进制文件在Linux 容器中运行。

你可能在你的 mac 上运行了这个:

git clone https://github.com/kubernetes/kubernetes.git
cd kubernetes
make

它创建了darwin二进制文件而不是 Linux 二进制文件。我会尝试从 Linux 机器上运行它。或者将 make 目标更改为使用GOOS=linuxandGOARCH=amd64

请注意,在撰写本文时,K8s 主要支持 Linux,并且仅支持 Windows 节点。


推荐阅读