更新#集群 MASTER IP, 需要负载均衡，一般为VIP地址

docs/00-集群规划和基础参数设定.md

@@ -1 +1,122 @@
 ## 00-集群规划和基础参数设定.md
+
+多节点高可用集群部署步骤与[AllinOne部署](quickStart.md)基本一致，增加LB 负载均衡部署步骤。
+
+## 集群所需节点配置如下：
++ 部署节点	x1 : 运行这份 ansible 脚本的节点
++ etcd节点	x3 : 注意etcd集群必须是1,3,5,7...奇数个节点
++ master节点	x2 : 根据实际集群规模可以增加节点数，需要额外规划一个master VIP地址
++ lb节点	x2 : 负载均衡节点两个，安装 haproxy+keepalived
++ node节点	x3 : 真正应用负载的节点，根据需要增加机器配置和节点数
+
+生产环境使用建议一个节点只是一个角色，避免性能瓶颈问题，这里演示环境将节点绑定多个角色。
+
+## 集群所用到的举例参数如下：
+``` bash
+#集群 MASTER IP, 需要负载均衡，一般为VIP地址
+MASTER_IP="192.168.1.10"
+KUBE_APISERVER="https://192.168.1.10:8443"
+
+#TLS Bootstrapping 使用的 Token，使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成
+BOOTSTRAP_TOKEN="c30302226d4b810e08731702d3890f50"
+
+# 服务网段 (Service CIDR），部署前路由不可达，部署后集群内使用 IP:Port 可达
+SERVICE_CIDR="10.68.0.0/16"
+
+# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达
+CLUSTER_CIDR="172.20.0.0/16"
+
+# 服务端口范围 (NodePort Range)
+NODE_PORT_RANGE="2000-8000"
+
+# kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP)
+CLUSTER_KUBERNETES_SVC_IP="10.68.0.1"
+
+# 集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配)
+CLUSTER_DNS_SVC_IP="10.68.0.2"
+
+# 集群 DNS 域名
+CLUSTER_DNS_DOMAIN="cluster.local."
+
+# etcd 集群间通信的IP和端口, **根据实际 etcd 集群成员设置**
+ETCD_NODES="etcd1=https://192.168.1.1:2380,etcd2=https://192.168.1.2:2380,etcd3=https://192.168.1.3:2380"
+
+# etcd 集群服务地址列表, **根据实际 etcd 集群成员设置**
+ETCD_ENDPOINTS="https://192.168.1.1:2379,https://192.168.1.2:2379,https://192.168.1.3:2379"
+
+# 集群basic auth 使用的用户名和密码【可选】
+BASIC_AUTH_USER="admin"
+BASIC_AUTH_PASS="test1234"
+
+# ---------附加参数--------------------
+#默认二进制文件目录
+bin_dir="/root/local/bin"
+
+#证书目录
+ca_dir="/etc/kubernetes/ssl"
+
+#部署目录，即 ansible 工作目录，建议不要修改
+base_dir="/etc/ansible"
+
+#私有仓库 harbor服务器 (域名或者IP) 【可选】
+#需要把 harbor服务器证书复制到roles/harbor/files/harbor-ca.crt
+HARBOR_SERVER="harbor.mydomain.com"
+```
+
+## 部署步骤
+
+### 1.准备4台虚机(推荐内存3G，硬盘20G以上)，最小化安装Ubuntu16.04 server，配置基础网络、更新源、SSH登陆等。
+### 2.在每台机器安装基础软件 
+``` bash
+# 文档中脚本默认均以root用户执行
+apt-get update && apt-get upgrade -y && apt-get dist-upgrade -y
+# 删除不要的默认安装
+apt-get purge ufw lxd lxd-client lxcfs lxc-common
+# 安装依赖工具
+apt-get install python2.7
+# Ubuntu16.04可能需要配置以下软连接
+ln -s /usr/bin/python2.7 /usr/bin/python
+```
+### 3.在deploy节点安装ansible
+``` bash
+# 安装依赖工具
+apt-get install python2.7 git python-pip
+# Ubuntu16.04可能需要配置以下软连接
+ln -s /usr/bin/python2.7 /usr/bin/python
+# 安装ansible (国内如果安装太慢可以直接用pip阿里云加速)
+#pip install pip --upgrade
+#pip install ansible
+pip install pip --upgrade -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
+pip install --no-cache-dir ansible -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
+```
+### 4.在deploy节点配置免密码登陆所有节点包括自身
+``` bash
+ssh-keygen -t rsa -b 2048 回车 回车 回车
+ssh-copy-id $IPs #$IPs为所有节点地址，按照提示输入yes 和root密码
+```
+### 5.在deploy节点编排k8s安装
+``` bash
+git clone https://github.com/gjmzj/kubeasz.git
+mv kubeasz /etc/ansible
+# 下载已打包好的binaries，并且解压缩到/etc/ansible/bin目录
+# 国内请从我分享的百度云链接下载 https://pan.baidu.com/s/1eSetFSA
+# 如果你有合适网络环境也可以按照/down/download.sh自行从官网下载各种tar包到 ./down目录，并执行download.sh
+tar zxvf k8s.184.tar.gz
+mv bin/* /etc/ansible/bin
+# 配置ansible的hosts文件
+cd /etc/ansible
+cp example/hosts.m-masters.example hosts
+然后根据上文实际规划修改此hosts文件
+# 采用分步安装(确定每一步是否安装成功)或者一步安装
+# 后文将一步一步讲解安装过程
+ansible-playbook 01.prepare.yml
+ansible-playbook 02.etcd.yml
+ansible-playbook 03.kubectl.yml
+ansible-playbook 04.docker.yml
+ansible-playbook 05.calico.yml
+ansible-playbook 06.kube-master.yml
+ansible-playbook 07.kube-node.yml
+#ansible-playbook 90.setup.yml # 一步安装
+```
+如果执行成功，k8s集群就安装好了。
+

example/hosts.allinone.example

@@ -32,15 +32,12 @@ BOOTSTRAP_TOKEN="d18f94b5fa585c7123f56803d925d2e7"
 # 服务网段 (Service CIDR），部署前路由不可达，部署后集群内使用 IP:Port 可达
 SERVICE_CIDR="10.68.0.0/16"
 
-# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达 (flanneld 保证)
+# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达
 CLUSTER_CIDR="172.20.0.0/16"
 
 # 服务端口范围 (NodePort Range)
 NODE_PORT_RANGE="2000-8000"
 
-# flanneld 网络配置前缀
-FLANNEL_ETCD_PREFIX="/kubernetes/network"
-
 # kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP)
 CLUSTER_KUBERNETES_SVC_IP="10.68.0.1"
 

example/hosts.m-masters.example

@@ -1,38 +1,34 @@
 # 部署节点：运行这份 ansible 脚本的节点
 [deploy]
-192.168.1.31
+192.168.1.1
 
 # etcd集群请提供如下NODE_NAME、NODE_IP变量
 # 请注意etcd集群必须是1,3,5,7...奇数个节点
 [etcd]
-192.168.1.32 NODE_NAME=etcd1 NODE_IP="192.168.1.32"
+192.168.1.1 NODE_NAME=etcd1 NODE_IP="192.168.1.1"
-192.168.1.33 NODE_NAME=etcd2 NODE_IP="192.168.1.33"
+192.168.1.2 NODE_NAME=etcd2 NODE_IP="192.168.1.2"
-192.168.1.62 NODE_NAME=etcd3 NODE_IP="192.168.1.62"
+192.168.1.3 NODE_NAME=etcd3 NODE_IP="192.168.1.3"
 
 [kube-master]
-192.168.1.34 NODE_IP="192.168.1.34"
+192.168.1.1 NODE_IP="192.168.1.1"
-192.168.1.35 NODE_IP="192.168.1.35"
+192.168.1.2 NODE_IP="192.168.1.2"
-192.168.1.63 NODE_IP="192.168.1.63"
 
 # 负载均衡至少两个节点，安装 haproxy+keepalived
 # 根据master节点数量同步修改roles/lb/templates/haproxy.cfg.j2 
 [lb]
-192.168.1.31 LB_IF="eth0" LB_ROLE=backup
+192.168.1.1 LB_IF="eth0" LB_ROLE=backup
-192.168.1.61 LB_IF="eth0" LB_ROLE=master
+192.168.1.2 LB_IF="eth0" LB_ROLE=master
 [lb:vars]
-LB_EP1="192.168.1.34:6443"	# api-server 实际成员地址端口
+LB_EP1="192.168.1.1:6443"	# api-server 实际成员地址端口
-LB_EP2="192.168.1.35:6443"	# api-server 实际成员地址端口
+LB_EP2="192.168.1.2:6443"	# api-server 实际成员地址端口
-LB_EP3="192.168.1.63:6443"	# api-server 实际成员地址端口
+MASTER_IP="192.168.1.10"  	# api-server 虚地址
-MASTER_IP="192.168.1.30"  	# api-server 虚地址
 MASTER_PORT="8443"		# api-server 服务端口
 
 #确保node节点有变量NODE_ID=node1
 [kube-node]
-192.168.1.36 NODE_ID=node1 NODE_IP="192.168.1.36"
+192.168.1.2 NODE_ID=node1 NODE_IP="192.168.1.2"
-192.168.1.37 NODE_ID=node2 NODE_IP="192.168.1.37"
+192.168.1.3 NODE_ID=node2 NODE_IP="192.168.1.3"
-192.168.1.64 NODE_ID=node3 NODE_IP="192.168.1.64"
+192.168.1.4 NODE_ID=node3 NODE_IP="192.168.1.4"
-192.168.1.65 NODE_ID=node4 NODE_IP="192.168.1.65"
-192.168.1.66 NODE_ID=node5 NODE_IP="192.168.1.66"
 
 [kube-cluster:children]
 kube-node
@@ -45,9 +41,9 @@ kube-master
 
 [all:vars]
 # ---------集群主要参数---------------
-#集群 MASTER IP, 需要外部负载均衡，一般为VIP地址
+#集群 MASTER IP, 需要负载均衡，一般为VIP地址
-MASTER_IP="192.168.1.30"
+MASTER_IP="192.168.1.10"
-KUBE_APISERVER="https://192.168.1.30:8443"
+KUBE_APISERVER="https://192.168.1.10:8443"
 
 #TLS Bootstrapping 使用的 Token，使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成
 BOOTSTRAP_TOKEN="c30302226d4b810e08731702d3890f50"
@@ -55,15 +51,12 @@ BOOTSTRAP_TOKEN="c30302226d4b810e08731702d3890f50"
 # 服务网段 (Service CIDR），部署前路由不可达，部署后集群内使用 IP:Port 可达
 SERVICE_CIDR="10.68.0.0/16"
 
-# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达 (flanneld 保证)
+# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达
 CLUSTER_CIDR="172.20.0.0/16"
 
 # 服务端口范围 (NodePort Range)
 NODE_PORT_RANGE="2000-8000"
 
-# flanneld 网络配置前缀
-FLANNEL_ETCD_PREFIX="/kubernetes/network"
-
 # kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP)
 CLUSTER_KUBERNETES_SVC_IP="10.68.0.1"
 
@@ -74,10 +67,10 @@ CLUSTER_DNS_SVC_IP="10.68.0.2"
 CLUSTER_DNS_DOMAIN="cluster.local."
 
 # etcd 集群间通信的IP和端口, **根据实际 etcd 集群成员设置**
-ETCD_NODES="etcd1=https://192.168.1.32:2380,etcd2=https://192.168.1.33:2380,etcd3=https://192.168.1.62:2380"
+ETCD_NODES="etcd1=https://192.168.1.1:2380,etcd2=https://192.168.1.2:2380,etcd3=https://192.168.1.3:2380"
 
 # etcd 集群服务地址列表, **根据实际 etcd 集群成员设置**
-ETCD_ENDPOINTS="https://192.168.1.32:2379,https://192.168.1.33:2379,https://192.168.1.62:2379"
+ETCD_ENDPOINTS="https://192.168.1.1:2379,https://192.168.1.2:2379,https://192.168.1.3:2379"
 
 # 集群basic auth 使用的用户名和密码
 BASIC_AUTH_USER="admin"
@@ -90,7 +83,7 @@ bin_dir="/root/local/bin"
 #证书目录
 ca_dir="/etc/kubernetes/ssl"
 
-#部署目录，即 ansible 工作目录
+#部署目录，即 ansible 工作目录，建议不要修改
 base_dir="/etc/ansible"
 
 #私有仓库 harbor服务器 (域名或者IP)

example/hosts.s-master.example

@@ -36,15 +36,12 @@ BOOTSTRAP_TOKEN="d18f94b5fa585c7123f56803d925d2e7"
 # 服务网段 (Service CIDR），部署前路由不可达，部署后集群内使用 IP:Port 可达
 SERVICE_CIDR="10.68.0.0/16"
 
-# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达 (flanneld 保证)
+# POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达
 CLUSTER_CIDR="172.20.0.0/16"
 
 # 服务端口范围 (NodePort Range)
 NODE_PORT_RANGE="2000-8000"
 
-# flanneld 网络配置前缀
-FLANNEL_ETCD_PREFIX="/kubernetes/network"
-
 # kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP)
 CLUSTER_KUBERNETES_SVC_IP="10.68.0.1"
 

roles/lb/templates/haproxy.cfg.j2

@@ -22,4 +22,3 @@ listen kube-master
         balance source
         server s1 {{ LB_EP1 }}  check inter 10000 fall 2 rise 2 weight 1
         server s2 {{ LB_EP2 }}  check inter 10000 fall 2 rise 2 weight 1
-        server s3 {{ LB_EP3 }}  check inter 10000 fall 2 rise 2 weight 1