CKA-Kubernets(K8s) (三）

apiVersion: v1
kind: Namespace
metadata:
  name: metallb-system
  labels:
    app: metallb

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      - 192.168.1.240-192.168.1.250  # 修改为你自己的网段

# 准备工作，确认配置了docker加速器

[loki@vm5 ~]$ cat /etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/lib/etcd/cluster.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.27.220:2380,http://localhost:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.27.220:2379,http://localhost:2379"
ETCD_NAME="etcd-220"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.27.220:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379,http://192.168.27.220:2379"
ETCD_INITIAL_CLUSTER="etcd-220=http://192.168.27.220:2380,etcd-221=http://192.168.27.221:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

[loki@vm6 ~]$ cat /etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/lib/etcd/cluster.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.27.221:2380,http://localhost:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.27.221:2379,http://localhost:2379"
ETCD_NAME="etcd-221"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.27.221:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379,http://192.168.27.221:2379"
ETCD_INITIAL_CLUSTER="etcd-220=http://192.168.27.220:2380,etcd-221=http://192.168.27.221:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

配置docker加速器
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://1vs5nfat.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

sudo tee  /etc/calico/calicoctl.cfg <<-'EOF'
apiVersion: v1
kind: calicoApiConfig
metadata:
spec:
  datastoreType: "etcdv2"
  etcdEndpoints: "http://192.168.27.220:2379"
EOF

sudo tee  /etc/calico/calicoctl.cfg <<-'EOF'
apiVersion: v1
kind: calicoApiConfig
metadata:
spec:
  datastoreType: "etcdv2"
  etcdEndpoints: "http://192.168.27.221:2379"
EOF

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: test-network-policy
  namespace: default
spec:
  podSelector:
    matchLabels:
      role: db
  policyTypes:
  - Ingress                        # 策略方向，Ingress 针对进
  - Egress                         # 策略方向，Egress  针对出
  ingress:
  - from:
    - ipBlock:                       # 基于ip地址的策略
        cidr: 172.17.0.0/16
        except:
        - 172.17.1.0/24
    - namespaceSelector:             # 基于名称空间的策略
        matchLabels:
          project: myproject
    - podSelector:                   # 基于标签名的策略
        matchLabels:
          role: frontend
    ports:
    - protocol: TCP
      port: 6379
  egress:
  - to:
    - ipBlock:
        cidr: 10.0.0.0/24
    ports:
    - protocol: TCP
      port: 5978

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: mypolicy1
  namespace: 12-net
spec:
  podSelector:
    matchLabels:
      run: pod1                # 针对哪个标签的pod上生效，从这个标签来看是针对pod1
  policyTypes:
  - Ingress
#   - Egress
  ingress:
  - from:
#    - ipBlock:
#        cidr: 172.17.0.0/16
#        except:
#        - 172.17.1.0/24
#    - namespaceSelector:
#        matchLabels:
#          project: myproject
    - podSelector:
        matchLabels:
          role: frontend
    ports:
    - protocol: TCP
      port: 80
#  egress:
#  - to:
#    - ipBlock:
#        cidr: 10.0.0.0/24
#    ports:
#    - protocol: TCP

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: t2
spec:
  podSelector:
    matchLabels:
      run: pod1
  policyTypes:
  - Ingress
#  - Egress
  ingress:
  - from:
#    - ipBlock:
#        cidr: 172.17.0.0/16
#        except:
#        - 172.17.1.0/24
    - namespaceSelector:
        matchLabels:
          project: myproject
#    - podSelector:
#        matchLabels:
#          role: frontend
    ports:
    - protocol: TCP
      port: 80
#  egress:
#  - to:
#    - ipBlock:
#        cidr: 10.0.0.0/24
#    ports:
#    - protocol: TCP
#      port: 5978

 # 修改模板内容，功能：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: c3
#  namespace: default
spec:
  podSelector:
    matchLabels:
      run: pod1
  policyTypes:
  - Ingress
#  - Egress
  ingress:
  - from:
    - ipBlock:
        cidr: 10.244.0.0/16      # 允许这个网段的访问(可以写多行）
        except:
#        - 10.244.185.194/32     # 除这IP以外
#    - namespaceSelector:
#        matchLabels:
#          project: myproject
#    - podSelector:
#        matchLabels:
#          role: frontend
    ports:
    - protocol: TCP
      port: 80
#  egress:
#  - to:
#    - ipBlock:
#        cidr: 10.0.0.0/24
#    ports:
#    - protocol: TCP

egress例子： 

# 仅允许pod1 访问pod2的 TCP80 UDP 53(用于解析DNS)

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: c4
#  namespace: default
spec:
  podSelector:
    matchLabels:
      run: pod1
  policyTypes:
  - Ingress
  - Egress
  ingress:
  - from:
    - ipBlock:
        cidr: 10.244.0.0/16
        cidr: 192.168.27.0/24
        except:
    ports:
    - protocol: TCP
      port: 80
  egress:   
  - to:
    - podSelector:
        matchLabels:
          run: pod2
    ports:
    - protocol: TCP
      port: 80
    - protocol: UDP
      port: 53

# 默认拒绝所有的策略

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all
spec:
  podSelector: {}
  policyTypes:
  - Ingress

# 默认允许所有的策略

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-all
spec:
  podSelector: {}
  ingress:
  - {}
  policyTypes:
  - Ingress

helm

# 为helm添加源

helm repo add ali https://apphub.aliyuncs.com

helm repo add azure htp://miror.azure.cn/kubernetes/charts/

# 查看添加和删除的源   helm repo list   OR   helm repo remove <REPO_NAME>

# 搜索MYSQL 的chart      helm search repo mysql 

# 下载一个Chart包到本地    helm pull azure/mysql --version=1.6.9    Note: 这里的版本是Chart版本，而非应用（数据库）的版本

# 下载的Chart-- mysql 目录结构

 # values.yaml  基础环境的一些常用修改

# MySQL ROOT用户密码

# 动态扩容卷

# 开始创建    helm install <Name> <Chart_PATH>

 # 创建成功后查询

# 自动帮我们完成了svc，pod，secrets,deploy等

 # 删除helm     helm delete <HELM_NAME>

安全管理

 k8s认证的方式常用的有三种方式：

方法零：base authentication (1.19之前，不包括1.19的一种认证方式）  # 通过用户名和密码的方式

:: 使用 用户名和密码的方式登录

  # 创建账号密码文件存放于 /etc/kubernetes/pki/info.csv,内容如下:  密码，用户名，UID

pwd1,loki,1
pwd1,feel,2
pwd1,hope,3

  # 修改api调用参数  /etc/kubernetes/manifests/kube-apiserver.yaml

- --basic-auth-file=/etc/kubernetes/pki/info.csv

# 创建集群角色绑定    kubectl create clusterrolebinding cluster -test2 --clusterroile=cluster-admin --user=loki

# 在客户端上使用账号密码的方式进行使用    /tmp/kubectl -s="https://192.168.x.x:6443" --username="loki" --password="pwd1" get pods -n kube-system

:: 使用证书的方式登录

# 生成私钥 

openssl genrsa -out client.key 2048

# 生成证书请求文件

openssl req -new -key client.key -subj "/CN=vm1" -out client.csr

# 拷贝到CA 上进行授权

scp client.csr x.x.x.x:/tmp

 # 在CA上签名证书

openssl x509 -req -in /tmp/client.csr -CA ca.crt -CAcreateserial -out /tmp/client.crt -days 3650

# 拷贝回客户端服务器，最后进行测试

  /tmp/kubectl -s="https://x.x.x.x:6443" --certificate-authority=ca.crt --client-certificate=client.crt --client-key=client.key --username="loki" --password="pwd1" get pods -n kube-system

# 此方式已经淘汰于k8s 1.19之前版本，由于过于老旧仅做了解,详见

方法一： token authentication

  1） 通过openssl rand -hex 10  生成一段token

  2） 把token 值写入一个csv文件，并且写入Toke值、用户名和UID。

  # 并且需要把这个csv文件放入到/etc/kubernetes/pki目录下面

  3） 修改api调用参数  /etc/kubernetes/manifests/kube-apiserver.yaml，增加下面内容：

- --token-auth-file=/etc/kubernetes/pki/loki.csv

  # 添加完毕后，重启一次  systemctl restart kubelet 

  4） 在一个非集群客户端安装kubectl 工具   yum install -y kubelet-1.20.1-0

  # 安装完毕后开始尝试登陆

 kubectl -s https://192.168.xx.xx:6443 --token="0c645bc3cd61963e1d9c" --insecure-skip-tls-verify=true get pods

# 会看到如下提示,就是说明loki这个用户是认证成功的，只是没有权限

 # 如果没有认证成功的提示如下：

方法二：

kubeconfig（系统默认用的就是这种认证方式）  

Note： 这里的kubeconfig文件，并非是说有一个名字固定叫kubeconfig的文件，而是只要用于认证的文件---例如：aa.txt,xxx,... 都称之为kubeconfig文件

# 在安装完k8s集群后，默认就会有一个操作让我们指定kubeconfig文件路径,如果删掉了的情况下，如果继续使用或者恢复

eg.1    kubectl --kubeconfig=/etc/kubernetes/admin.conf get nodes

eg.2  export KUBECONFIG=/etc/kubernetes/admin.conf; kubectl get nodes

# admin.conf  记录了所有的信息  <---  理论上直接copy这个文件到客户端，再客户端指定kubeconfig文件就可以直接使用（生产环境慎用！！！）

自己创建一个kubeconfig文件

私钥  -->  证书请求文件  -->  CA权威机构申请证书  --> CA审核通过，授权颁发的证书

xx.key(私钥） -- > xx.crt（证书请求文件） -- >  xx.csr（颁发的证书）

# 创建私钥

openssl genrsa -out loki.key 2048

# 生产证书请求文件 

openssl req -new -key loki.key -out loki.csr -subj "/CN=loki/O=CKA2021"    # 这里注意CN的值就是我们授权的用户名

# 对证书请求文件进行base64编码

cat loki.csr |base64 |tr -d "\n"

# 开始写申请证书的请求的yaml文件，模板如下：（模板参考官网）

apiVersion: certificates.k8s.io/v1beta1
kind: CertificateSigningRequest
metadata:
  name: loki
spec:
  request: LS0...以下省略500字...=   # request 里的是base64 编码之后的证书请求文件
  usages:
  - client auth

# 开始导入 

 # 查看导入结果

 # 批准证书

 # 查看获批的证书情况

 # 查看并导出证书       kubectl get csr/loki -o jsonpath='{.status.certificate}' | base64 -d > loki.crt

 # 给用户授权  kubectl create clusterrolebinding <权限名称> --clusterrole=cluster-admin --user=<用户名>

正式开始创建kubeconfig文件

 # 创建kubeconfig模板文件

apiVersion: v1
kind: Config
preferences: {}
clusters:                     # k8s集群的信息
- cluster:
  name: cluster1
users:                        # 指定用户 
- name: loki
contexts:                     # 指定上下文（包括用户默认所在的命名空间等信息）
- context:
  name: context1
  namespace: default
current-context: "context1"

# 拷贝CA证书

cp /etc/kubernetes/pki/ca.crt .

# 设置集群字段  

kubectl config --kubeconfig=kc_loki set-cluster cluster1 --server=<MASTER_HTTPS_ADDRESS> --certificate-authority=ca.crt --embed-certs=true

 --embed-certs=true 的意思是把证书内容写入到此kubeconfig 文件里

# 设置用户字段

kubectl config --kubeconfig=<KUBECONFIG_FILE> set-credentials loki  --client-certificate=loki.crt --client-key=loki.key --embed-certs=true

# 设置上下文字段

kubectl config --kubeconfig=kc_loki set-context context1  --cluster=cluster1 --namespace=default --user=loki

 这样，整个kubeconfig文件就创建完毕了。

验证kubeconfig文件

# 确认loki是否具有list当前命名空间里pod的权限

kubectl auth can-i list pods --as loki

# 确认loki是否具有list命名空间kube-system里pod的权限

kubectl auth can-i list pods -n kube-system --as loki 

 # 把kc_loki文件复制到，一个客户端[我这里用的是VM40机器]（非集群内主机环境，需要安装kubectl命令工具包）

oauth2

自行研究 

# 改变不同的授权方式，是修改 

/etc/kubernetes/manifests/kube-apiserver.yaml

- --authorization-mode=Node,RBAC

Node, RBAC  # 安装完默认（推荐）

AlwaysAllow  # 允许所有请求

AlwaysDeny  # 拒绝所有请求

ABAC           # Attribute-based Access Control  基于属性的访问控制（不灵活，不考虑）

RBAC          # Role Based Access Control  基于角色的访问控制

Node            # Node 授权器主要用于各个node上的kubelet访问apiserver时使用的，其他一般均由RBAC授权器来授权

- --enable-admission-plugins=NodeRestriction  准入控制器    # CKS课程会进行讲解

# 查看管理员的所有权限

kubectl describe clusterrole admin

 # 基于命名空间

role

rolebinding

 # 整个集群

clusterrole

clusterolebinding

# 创建role  命令方式    kubectl create role <ROLE_NAME> --verb=<权限1，权限2，...>  --resource=<资源1，资源2>

# 创建rolebinding   kubectl create rolebinding <ROLEBINDING_NAME> --role=<ROLE_NAME> --user=<USER_NAME>

# 还可以导出成yaml的方式（方便修改）  kubectl create role <ROLE_NAME> --verb=<权限1，权限2,...> --resource=<资源1，资源2,...> --dry-run=client -o yaml > role1.yaml

# 生成的关于role的yaml文件内容如下：

# Node:这里的pods和services是共享下面的权限

 # 查看角色详细信息  kubectl describe role <ROLE_NAME>

# 如果是想要单独给权限，需要进行如下修改

# 针对deploy的授权 

 首先拥有kubeconfig文件，传到没有集群环境的主机，并进行角色和用户的绑定

ubectl create rolebinding rbind1 --role=role2 --user=loki

# 查看目前role2已经绑定的权限和资源

# 然后在vm4机器上，依然不能正常浏览loki用户对应的deploy 

# 增加如下值“apps”后，deployments 权限正常（这里需要注意deploy的apiGrous 父级组 “apps”）

# 查看当前deploy 的权限

# 再次进行测试，发现成功。

PS： 注意role和rolebinding 仅对当前命名空间生效 ！！！

# 可以对所有命名空间生效的使用下面的命令

clusterrole

clusterolebinding

# 命令方式创建clusterrole

kubectl create clusterrole crole1 --verb=get,create,delete --resource=pods

continue...