1:k8s集群的安装
1.1 k8s的架构
etcd:数据库nosql-非关系型,存储键值对数据,储存K8S集群所有重要信息,持久化 API server: 1.运维人员操作k8s就是操作apiserver,也是最核心的; 2.当scheduler选择好一个合适的node。apiserver会去命令Kubelet服务,然后Kubelet在去调用docker启容器(pod) Scheduler:调度器,会去选择一个合适的node节点。 Users:外界用户访问的是node节点中的Kube-Proxy,然后Kube-Proxy做端口映射到pod Kube-Proxy:负责写入规则至iptables、ipvs实现服务映射访问; Controller Manager: 1.会实时检测容器(pod)是否挂掉,如果某一个容器挂掉了,他会重启给起一个容器; 2.如果要是某一个node节点都挂掉了,它会读取etcd数据库中的数据然后会重新找一台机器将node启动起来,保持服务的高可用; Kubelet:安装好kubelet服务之后,该服务会自动安装好docker服务;直接跟容器引擎交互实现容器的生命周期管理; 除了核心组件,还有一些推荐的Add-ons:
组件名称 | 说明 |
---|---|
kube-dns | 负责为整个集群提供DNS服务 |
core-dns | 为集群中的svc创建一个域名IP的对应关系解析 |
Ingress Controller | 为服务提供外网入口7层 |
Ingress | 7层代理 |
Heapster | 提供资源监控 |
Dashboard | 提供GUI |
Federation | 提供跨可用区的集群 |
Fluentd-elasticsearch | 提供集群日志采集、存储与查询 |
Peometheus | 提供K8S集群监控能力 |
1.1.1k8s ingress原理
前提:但是,单独用service暴露服务的方式,在实际生产环境中不太合适
1.ClusterIP的方式只能在集群内部访问。 2.NodePort方式的话,测试环境使用还行,当有几十上百的服务在集群中运行时,NodePort的端口管理是灾难。 3.LoadBalance方式受限于云平台,且通常在云平台部署ELB还需要额外的费用。 ingress可以简单理解为service的service,他通过独立的ingress对象来制定请求转发的规则,把请求路由到一个或多个service中。这样就把服务与请求规则解耦了,可以从业务维度统一考虑业务的暴露,而不用为每个service单独考虑。 举个例子,现在集群有api、文件存储、前端3个service,可以通过一个ingress对象来实现图中的请求转发: 注释: ingress对象: 指的是k8s中的一个api对象,一般用yaml配置。作用是定义请求如何转发到service的规则,可以理解为配置模板。 ingress-controller: 具体实现反向代理及负载均衡的程序,对ingress定义的规则进行解析,根据配置的规则来实现请求转发。简单来说,ingress-controller才是负责具体转发的组件,通过各种方式将它暴露在集群入口,外部对集群的请求流量会先到ingress-controller,而ingress对象是用来告诉ingress-controller该如何转发请求,比如哪些域名哪些path要转发到哪些服务等等。
1.2:修改IP地址、主机和host解析
10.0.0.11 k8s-master 10.0.0.12 k8s-node-1 10.0.0.13 k8s-node-2 所有节点需要做hosts解析
1.3:master节点安装etcd
#安装etcd数据库
yum install etcd -y
vim /etc/etcd/etcd.conf
6行:ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
21行:ETCD_ADVERTISE_CLIENT_URLS="http://192.168.111.11:2379"
systemctl start etcd.service
systemctl enable etcd.service
etcdctl set testdir/testkey0 0
etcdctl get testdir/testkey0
etcdctl -C http://192.168.111.11:2379 cluster-health
##etcd原生支持做集群, ##测试练习1:安装部署etcd集群,要求三个节点
1.4:master节点安装kubernetes
yum install kubernetes-master.x86_64 -y
vim /etc/kubernetes/apiserver
8行: KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"
11行:KUBE_API_PORT="--port=8080"
17行:KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.111.11:2379"
将23行erviceAccount内容删除
23行:KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
vim /etc/kubernetes/config
22行:KUBE_MASTER="--master=http://192.168.111.11:8080"
systemctl enable kube-apiserver.service
systemctl restart kube-apiserver.service
systemctl enable kube-controller-manager.service
systemctl restart kube-controller-manager.service
systemctl enable kube-scheduler.service
systemctl restart kube-scheduler.service
#检查服务是否安装正常
[root@k8s-master ~]# kubectl get componentstatus
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true"}
1.5:2台node节点安装kubernetes
yum install kubernetes-node.x86_64 -y
vim /etc/kubernetes/config
22行:KUBE_MASTER="--master=http://192.168.111.11:8080"
vim /etc/kubernetes/kubelet
5行:KUBELET_ADDRESS="--address=0.0.0.0"
8行:KUBELET_PORT="--port=10250"
11行:KUBELET_HOSTNAME="--hostname-override=192.168.111.12"
14行:KUBELET_API_SERVER="--api-servers=http://192.168.111.11:8080"
systemctl enable kubelet.service
systemctl start kubelet.service
systemctl enable kube-proxy.service
systemctl start kube-proxy.service
##在master节点检查
[root@k8s-master ~]# kubectl get nodes
NAME STATUS AGE
10.0.0.12 Ready 6m
10.0.0.13 Ready 3s
1.6:所有节点配置flannel网络
容器跨宿主机之间的通信网络
yum install flannel -y
sed -i 's#http://127.0.0.1:2379#http://192.168.111.11:2379#g' /etc/sysconfig/flanneld
##master节点:
etcdctl mk /atomic.io/network/config '{ "Network": "172.16.0.0/16" }'
#在master安装docker是为了减少一台机器,为了做镜像仓库使用,所以安装到master上,其他node节点直接从master上下载镜像文件。
yum install docker -y
systemctl enable flanneld.service
systemctl restart flanneld.service
service docker restart
systemctl enable docker
systemctl restart kube-apiserver.service
systemctl restart kube-controller-manager.service
systemctl restart kube-scheduler.service
##node节点:
systemctl enable flanneld.service
systemctl restart flanneld.service
service docker restart
systemctl restart kubelet.service
systemctl restart kube-proxy.service
1.7:配置master为镜像仓库
#所有节点
vim /etc/sysconfig/docker
OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false --registry-mirror=https://registry.docker-cn.com --insecure-registry=192.168.111.11:5000'
systemctl restart docker
#master节点
docker run -d -p 5000:5000 --restart=always --name registry -v /opt/myregistry:/var/lib/registry registry
如下是意外操作:
支节点导入镜像
docker load -i pod-infrastructure-latest.tar.gz
打标签
docker tag docker.io/tianyebj/pod-infrastructure:latest 192.168.111.11:5000/pod-infrastructure:latest
上传私有仓库
docker push 192.168.111.11:5000/pod-infrastructure:latest
#修改走本地仓库,防止走官方镜像(所有支节点)
vim /etc/kubernetes/kubelet
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=192.168.111.11:5000/pod-infrastructure:latest"
然后支节点操作:
systemctl restart kubelet.service
#如果容器跨宿主机之间的网络通信失败,则执行如下操作
#所有节点解决网络通讯失败问题临时生效(所有节点)
iptables -P FORWARD ACCEPT
#永久生效(所有节点)
vim /usr/lib/systemd/system/docker.service
18行:ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT
让docker启动时执行IPTABLES更改防火墙规则 更改完后操作
systemctl daemon-reload
systemctl restart docker