k8s三节点部署文档
K8s三节点部署文档参考文档：https://zhuanlan.zhihu.com/p/138876909https://zhuanlan.zhihu.com/p/165572107https://zhuanlan.zh
K8s三节点部署文档
参考文档：
https://zhuanlan.zhihu.com/p/138876909
https://zhuanlan.zhihu.com/p/165572107
https://zhuanlan.zhihu.com/p/163107995
1、更改主机名（三节点）
主节点：hostnamectl set-hostname master
副节点：hostnamectl set-hostname node1
副节点：hostnamectl set-hostname node2
2、查看Linux内核版本（三节点）
uname -r
建议使用4.4，3.1与k8s不稳定；
3、关闭防火墙（三节点）
systemctl disable firewalld
systemctl stop firewalld
4、关闭selinux（三节点）
vi /etc/selinux/config
将enabled改为disabled重启生效
5、关闭swap分区（三节点）
临时关闭：
swapoff -a
永久关闭：
vi /etc/fstab
将选中区域注释
6、修改/etc/hosts（三节点）
192.168.100.30 master
192.168.100.31 node1
192.168.100.32 node2
7、安装yum源
8、设置时间同步（主节点master）
（1）安装ntpdate
yum install -y ntpdate
（2）注释默认ntp服务器
sed -i 's/^server/#&/' /etc/chrony.conf
（3）指定上游公共 ntp 服务器，并允许其他节点同步时间
cat >> /etc/chrony.conf << EOF
server http://0.asia.pool.ntp.org iburst
server http://1.asia.pool.ntp.org iburst
server http://2.asia.pool.ntp.org iburst
server http://3.asia.pool.ntp.org iburst
allow all
EOF
（4）重启chrony服务器并设置开机自启动
systemctl enable chronyd && systemctl restart chronyd
（5）开启网络时间同步功能
timedatectl set-ntp true
9、安装chrony（辅助节点nodde）
（1）安装chrony
yum install chrony -y
（2）注释默认服务器
sed -i 's/^server/#&/' /etc/chrony.conf
（3）指定master为上游ntp服务器
echo server 192.168.100.30 iburst >> /etc/chrony.conf
（4）重启服务并设为开机启动
systemctl enable chronyd && systemctl restart chronyd
（5）检查配置
所有NODE节点执行chronyc sources命令，查看存在以^*开头的行，说明已经与服务器时间同步
10、将桥接的IPv4流量传递到iptables的链（所有节点）
（1）RHEL / CentOS 7上的一些用户报告了由于iptables被绕过而导致流量路由不正确的问题。创建/etc/sysctl.d/k8s.conf文件，添加如下内容：
vm.swappiness = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
（2）使配置生效
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf
11、加载ipvs相关模块（所有节点）
（1）由于ipvs已经加入到了内核的主干，所以为kube-proxy开启ipvs的前提需要加载以下的内核模块：
在所有的Kubernetes节点执行以下脚本:
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
（2）增加权限
chmod +x /etc/sysconfig/modules/ipvs.modules
（3）执行脚本
sh /etc/sysconfig/modules/ipvs.modules
（4）解释：上面脚本创建了/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。 使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块。
接下来还需要确保各个节点上已经安装了ipset软件包。 为了便于查看ipvs的代理规则，最好安装一下管理工具ipvsadm。
（5）安装管理工具
yum install ipset ipvsadm -y
12、所有节点安装Docker kubeadm-引导集群的工具 / kubelet-容器管理
注：Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker。
Kubernetes默认的容器运行时仍然是Docker，使用的是kubelet中内置dockershim CRI实现。需要注意的是，Kubernetes 1.13最低支持的Docker版本是1.11.1，最高支持是18.06，而Docker最新版本已经是18.09了，故我们安装时需要指定版本为18.06.1-ce。
（1）设置yum源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
（2）安装docker
yum -y install docker-ce-18.06.1.ce-3.el7
设置开机自启动以及启动docker
systemctl enable docker && systemctl start docker
查看docer的版本
docker --version
（3）设置docker加速器
cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF
（4）将添加k8s阿里yum软件源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
（5）所有节点安装kubeadm，kubelet和kubectl
注：由于版本更新频繁，这里指定版本号部署：
yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0
systemctl enable kubelet && systemctl start kubelet
13、部署Kubernetes（master节点）
（1）手动拉取镜像
curl -sfL
https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/pull-kube-image.sh | bash -
（2）由于默认拉取镜像地址http://k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
kubeadm init --apiserver-advertise-address=192.168.100.30 --image-repository http://registry.aliyuncs.com/google_containers --kubernetes-version v1.17.0 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16
(注意记录下初始化结果中的kubeadm join命令，部署worker节点时会用到)
kubeadm join 192.168.100.30:6443 --token gz68wt.0utdk93fce1rqo79
--discovery-token-ca-cert-hash sha256:3d69ea8ab91d3bc728425645aa318ba86faf1f0d21186dedb5b4600a6963a22c
k8s部署文档.docxkube-flannel.ymkubernetes-dashboard.yaml13、使用kubectl工具
（1）配置工具
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
（2）查看节点状态可以看到，当前只存在1个master节点，并且这个节点的状态是 NotReady。
kubectl get nodes
（3）查看集群状态：确认各个组件都处于healthy状态。
kubectl get cs
（4）查看当前节点详细信息
kubectl api-resources
（5）注：通过 kubectl describe 指令的输出，我们可以看到 NodeNotReady 的原因在于，我们尚未部署任何网络插件，kube-proxy等组件还处于starting状态。 另外，我们还可以通过 kubectl 检查这个节点上各个系统 Pod 的状态，其中，kube-system 是 Kubernetes 项目预留的系统 Pod 的工作空间（Namepsace，注意它并不是 Linux Namespace，它只是 Kubernetes 划分不同工作空间的单位）：
# 5.3.4检查这个节点上各个系统 Pod 的状态
可以看到，CoreDNS依赖于网络的 Pod 都处于 Pending 状态，即调度失败。这当然是符合预期的：因为这个 Master 节点的网络尚未就绪。 集群初始化如果遇到问题，可以使用kubeadm reset命令进行清理然后重新执行初始化。
14、安装Pod网络插件（CNI）
（1）直接获取
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
（2）如果下不下来可以使用浏览器下载然后上传到服务器中
kubectl apply -f kube-flannel.ym
（3）重新检查Pod
kubectl get pod -n kube-system -o wide
可以看到，所有的系统 Pod 都成功启动了，而刚刚部署的flannel网络插件则在 kube-system 下面新建了一个名叫kube-flannel-ds-amd64-lkf2f的 Pod，一般来说，这些 Pod 就是容器网络插件在每个节点上的控制组件。 Kubernetes 支持容器网络插件，使用的是一个名叫 CNI 的通用接口，它也是当前容器网络的事实标准，市面上的所有容器网络开源项目都可以通过 CNI 接入 Kubernetes，比如 Flannel、Calico、Canal、Romana 等等，它们的部署方式也都是类似的“一键部署”。
（4）重新检查master节点状态
kubectl get nodes
至此，Kubernetes 的 Master 节点就部署完成了。如果你只需要一个单节点的 Kubernetes，现在你就可以使用了。不过，在默认情况下，Kubernetes 的 Master 节点是不能运行用户 Pod 的。
15、部署work节点
（1）加入Kubernetes Node（node节点）
向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：
kubeadm join 192.168.100.30:6443 --token gz68wt.0utdk93fce1rqo79
--discovery-token-ca-cert-hash sha256:3d69ea8ab91d3bc728425645aa318ba86faf1f0d21186dedb5b4600a6963a22c
如果执行kubeadm init时没有记录下加入集群的命令，可以通过以下命令重新创建
kubeadm token create --print-join-command
（2）使用 kubectl get nodes 命令检查集群各节点状态是否Ready
（3）等所有的节点都已经 Ready，Kubernetes Cluster 创建成功，一切准备就绪。 如果pod状态为Pending、ContainerCreating、ImagePullBackOff都表明 Pod 没有就绪，Running 才是就绪状态。 如果有pod提示Init:ImagePullBackOff，说明这个pod的镜像在对应节点上拉取失败，我们可以通过 kubectl describe pod 查看 Pod 具体情况，以确认拉取失败的镜像：
（4）其他操作
docker images
查看节点下载了那些镜像
16、测试kubernetes集群（master）
（1）首先验证kube-apiserver, kube-controller-manager, kube-scheduler, pod network 是否正常：
部署一个 Nginx Deployment，包含2个Pod 参考： https://kubernetes.io/docs/concepts/workloads/controllers/deployment/
在Kubernetes集群中创建一个pod，验证是否正常运行：
[root@master ~]# kubectl create deployment nginx --image=nginx:alpine
[root@master ~]# kubectl scale deployment nginx --replicas=2
# 验证Nginx Pod是否正确运行，并且会分配10.244.开头的集群IP
[root@master ~]# kubectl get pods -l app=nginx -o wide
# 再验证一下kube-proxy是否正常：以 NodePort 方式对外提供服务
[root@master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
[root@master ~]# kubectl get services nginx
# 可以通过任意 NodeIP:Port 在集群外部访问这个服务,都可以访问到nginx的初始化页面：
（2）最后验证一下dns, pod network是否正常： 运行Busybox并进入交互模式
kubectl run -it curl --image=radial/busyboxplus:curl
# 输入nslookup nginx查看是否可以正确解析出集群内的IP，以验证DNS是否正常
nslookup nginx
# 通过服务名进行访问，验证kube-proxy是否正常
curl http://nginx/
17、部署Dashboard
（1）准备安装kubernetes dashboard的yaml文件
https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml
（2）默认Dashboard只能集群内部访问，修改Service为NodePort类型，并暴露端口到外部：
（3）创建service account并绑定默认cluster-admin管理员集群角色：
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
此处的token,下文dashboard 登陆时需要使用，记得找地方记下来，实在忘了记录，也有重新输出的操作
（4）应用配置文件启动服务
拉取文件：
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml
修改servcie部分
使用文件安装：kubectl apply -f kubernetes-dashboard.yaml
验证状态
kubectl get pods -n kubernetes-dashboard
kubectl get svc -n kubernetes-dashboard
登陆网址：https://192.168.100.30:30443/
（5）解决Dashboard chrome无法访问问题
（1）K8S Dashboard安装好以后，通过Firefox浏览器是可以打开的，但通过Google Chrome浏览器，无法成功浏览页面。如图：
（2）解决方案
kubeadm自动生成的证书，很多浏览器不支持。所以我们需要自己创建证书。
（3）创建一个key的目录，存放证书等文件
mkdir kubernetes-key
cd kubernetes-key
（4）生成证书请求的key
openssl genrsa -out dashboard.key 2048
（5）生成证书请求
openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.100.30'
（6）生成自签证书
openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt
（7）删除原有证书
kubectl delete secret kubernetes-dashboard-certs -n kubernetes-dashboard
（8）创建新证书的sercret
kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kubernetes-dashboard
（9）查找正在运行的Pod
kubectl get pod -n kubernetes-dashboard
（10）删除旧有的Pod
kubectl get pod -n kubernetes-dashboard
kubectl delete po kubernetes-dashboard-5996555fd8-jn9tr -n kubernetes-dashboard
kubectl delete po dashboard-metrics-scraper-76585494d8-h6nbw -n kubernetes-dashboard
（11）检查状态
kubectl get pod -n kubernetes-dashboard
（12）访问网址
使用之前保存的Token访问
