94 lines
3.6 KiB
Markdown
94 lines
3.6 KiB
Markdown
|
# Etcd解析
|
|||
|
|
|
|||
|
|
Etcd是Kubernetes集群中的一个十分重要的组件，用于保存集群所有的网络配置和对象的状态信息。在后面具体的安装环境中，我们安装的etcd的版本是v3.1.5，整个kubernetes系统中一共有两个服务需要用到etcd用来协同和存储配置，分别是：
|
|||
|
|
|
|||
|
|
- 网络插件flannel、对于其它网络插件也需要用到etcd存储网络的配置信息
|
|||
|
|
- kubernetes本身，包括各种对象的状态和元信息配置
|
|||
|
|
|
|||
|
|
**注意**：flannel操作etcd使用的是v2的API，而kubernetes操作kubernetes使用的v3的API，所以在下面我们执行`ectdctl`的时候需要设置`ECTDCTL_API`环境变量，该变量默认值为2。
|
|||
|
|
|
|||
|
|
## 原理
|
|||
|
|
|
|||
|
|
Etcd使用的是raft一致性算法来实现的，是一款分布式的一致性KV存储，只要用于共享配置和服务发现。关于raft一致性算法请参考[该动画演示](http://thesecretlivesofdata.com/raft/)。
|
|||
|
|
|
|||
|
|
关于Ectd的原理解析请参考[Etcd 架构与实现解析](http://jolestar.com/etcd-architecture/)。
|
|||
|
|
|
|||
|
|
## 使用Etcd存储Flannel网络信息
|
|||
|
|
|
|||
|
|
我们在安装Flannel的时候配置了`FLANNEL_ETCD_PREFIX="/kube-centos/network"`参数，这是Flannel查询etcd的目录地址。
|
|||
|
|
|
|||
|
|
查看Etcd中存储的flannel网络信息：
|
|||
|
|
|
|||
|
|
```ini
|
|||
|
|
$ etcdctl --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem ls /kube-centos/network -r
|
|||
|
|
2018-01-19 18:38:22.768145 I | warning: ignoring ServerName for user-provided CA for backwards compatibility is deprecated
|
|||
|
|
/kube-centos/network/config
|
|||
|
|
/kube-centos/network/subnets
|
|||
|
|
/kube-centos/network/subnets/172.30.31.0-24
|
|||
|
|
/kube-centos/network/subnets/172.30.20.0-24
|
|||
|
|
/kube-centos/network/subnets/172.30.23.0-24
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
查看flannel的配置：
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
$ etcdctl --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem get /kube-centos/network/config
|
|||
|
|
2018-01-19 18:38:22.768145 I | warning: ignoring ServerName for user-provided CA for backwards compatibility is deprecated
|
|||
|
|
{ "Network": "172.30.0.0/16", "SubnetLen": 24, "Backend": { "Type": "host-gw" } }
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 使用Etcd存储Kubernetes对象信息
|
|||
|
|
|
|||
|
|
Kubernetes使用etcd v3的API操作etcd中的数据。所有的资源对象都保存在`/registry`路径下，如下：
|
|||
|
|
|
|||
|
|
```ini
|
|||
|
|
ThirdPartyResourceData
|
|||
|
|
apiextensions.k8s.io
|
|||
|
|
apiregistration.k8s.io
|
|||
|
|
certificatesigningrequests
|
|||
|
|
clusterrolebindings
|
|||
|
|
clusterroles
|
|||
|
|
configmaps
|
|||
|
|
controllerrevisions
|
|||
|
|
controllers
|
|||
|
|
daemonsets
|
|||
|
|
deployments
|
|||
|
|
events
|
|||
|
|
horizontalpodautoscalers
|
|||
|
|
ingress
|
|||
|
|
limitranges
|
|||
|
|
minions
|
|||
|
|
monitoring.coreos.com
|
|||
|
|
namespaces
|
|||
|
|
persistentvolumeclaims
|
|||
|
|
persistentvolumes
|
|||
|
|
poddisruptionbudgets
|
|||
|
|
pods
|
|||
|
|
ranges
|
|||
|
|
replicasets
|
|||
|
|
resourcequotas
|
|||
|
|
rolebindings
|
|||
|
|
roles
|
|||
|
|
secrets
|
|||
|
|
serviceaccounts
|
|||
|
|
services
|
|||
|
|
statefulsets
|
|||
|
|
storageclasses
|
|||
|
|
thirdpartyresources
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
如果你还创建了CRD（自定义资源定义），则在此会出现CRD的API。
|
|||
|
|
|
|||
|
|
## Etcd V2与V3版本API的区别
|
|||
|
|
|
|||
|
|
Etcd V2和V3之间的数据结构完全不同，互不兼容，也就是说使用V2版本的API创建的数据只能使用V2的API访问，V3的版本的API创建的数据只能使用V3的API访问。这就造成我们访问etcd中保存的flannel的数据需要使用`etcdctl`的V2版本的客户端，而访问kubernetes的数据需要设置`ETCDCTL_API=3`环境变量来指定V3版本的API。
|
|||
|
|
|
|||
|
|
## Etcd数据备份
|
|||
|
|
|
|||
|
|
我们安装的时候指定的Etcd数据的存储路径是`/var/lib/etcd`，一定要对该目录做好备份。
|
|||
|
|
|
|||
|
|
## 参考
|
|||
|
|
|
|||
|
|
- [etcd官方文档](https://coreos.com/etcd/docs/latest)
|
|||
|
|
- [etcd v3命令和API](http://blog.csdn.net/u010278923/article/details/71727682)
|
|||
|
|
- [Etcd 架构与实现解析](http://jolestar.com/etcd-architecture/)
|