heketi整合初始版本
吴洪明
parent
fe4f425842
commit
a182611c47
|
|
@ -1,4 +1,4 @@
|
|||
本文翻译自（大部分为google翻译,少许人工调整，括号内为人人注解）https://github.com/heketi/heketi/blob/master/docs/admin/install-kubernetes.md 其中注意事项部分为其他网上查询所得。
|
||||
本文翻译自https://github.com/heketi/heketi/blob/master/docs/admin/install-kubernetes.md （大部分为google翻译,少许人工调整，括号内为人人注解）其中注意事项部分为其他网上查询所得。
|
||||
本文的整个过程将在kubernetes集群上的3个或以上节点安装glusterfs的服务端（DaemonSet方式），并将heketi以deployment的方式部署到kubernetes集群。在示例部分有StorageClass和PVC的样例
|
||||
|
||||
## 注意事项
|
||||
|
|
@ -19,24 +19,24 @@
|
|||
其中包含一个使用动态配置（dynamically-provisioned）的GlusterFS卷进行存储的Web server pod示例。对于那些想要测试或学习更多关于此主题的人，请按照主
|
||||
[README](https://github.com/gluster/gluster-kubernetes) 的快速入门说明 进行操作。
|
||||
|
||||
本指南旨在展示Heketi在Kubernetes环境中管理Gluster的最简单示例。这是为了强调这种配置的主要组成组件，因此并不适合生产环境。
|
||||
本指南旨在展示heketi在Kubernetes环境中管理Gluster的最简单示例。这是为了强调这种配置的主要组成组件，因此并不适合生产环境。
|
||||
|
||||
## 基础设施要求
|
||||
|
||||
* 正在运行的Kubernetes集群，至少有三个Kubernetes工作节点，每个节点至少有一个可用的裸块设备（如EBS卷或本地磁盘）.
|
||||
* 用于运行GlusterFS Pod的三个Kubernetes节点必须为GlusterFS通信打开相应的端口（如果开启了防火墙的情况下，没开防火墙就不需要这些操作）。在每个节点上运行以下命令。
|
||||
```
|
||||
iptables -N HEKETI
|
||||
iptables -A HEKETI -p tcp -m state --state NEW -m tcp --dport 24007 -j ACCEPT
|
||||
iptables -A HEKETI -p tcp -m state --state NEW -m tcp --dport 24008 -j ACCEPT
|
||||
iptables -A HEKETI -p tcp -m state --state NEW -m tcp --dport 2222 -j ACCEPT
|
||||
iptables -A HEKETI -p tcp -m state --state NEW -m multiport --dports 49152:49251 -j ACCEPT
|
||||
iptables -N heketi
|
||||
iptables -A heketi -p tcp -m state --state NEW -m tcp --dport 24007 -j ACCEPT
|
||||
iptables -A heketi -p tcp -m state --state NEW -m tcp --dport 24008 -j ACCEPT
|
||||
iptables -A heketi -p tcp -m state --state NEW -m tcp --dport 2222 -j ACCEPT
|
||||
iptables -A heketi -p tcp -m state --state NEW -m multiport --dports 49152:49251 -j ACCEPT
|
||||
service iptables save
|
||||
```
|
||||
|
||||
## 客户端安装
|
||||
|
||||
Heketi提供了一个CLI客户端，为用户提供了一种管理Kubernetes中GlusterFS的部署和配置的方法。 在客户端机器上下载并安装[Download and install the heketi-cli](https://github.com/heketi/heketi/releases)。
|
||||
heketi提供了一个CLI客户端，为用户提供了一种管理Kubernetes中GlusterFS的部署和配置的方法。 在客户端机器上下载并安装[Download and install the heketi-cli](https://github.com/heketi/heketi/releases)。
|
||||
|
||||
|
||||
## 在Kubernetes中的部署过程
|
||||
|
|
@ -66,7 +66,7 @@ $ kubectl label node <...node...> storagenode=glusterfs
|
|||
$ kubectl get pods
|
||||
```
|
||||
|
||||
* 接下来，我们将为Heketi创建一个服务帐户（service-account）:
|
||||
* 接下来，我们将为heketi创建一个服务帐户（service-account）:
|
||||
|
||||
```
|
||||
$ kubectl create -f heketi-service-account.json
|
||||
|
|
@ -78,7 +78,7 @@ $ kubectl create -f heketi-service-account.json
|
|||
$ kubectl create clusterrolebinding heketi-gluster-admin --clusterrole=edit --serviceaccount=default:heketi-service-account
|
||||
```
|
||||
|
||||
* 现在我们需要创建一个Kubernetes secret来保存我们Heketi实例的配置。必须将配置文件的执行程序设置为 kubernetes才能让Heketi server控制gluster pod（配置文件的默认配置）。除此这些，可以尝试配置的其他选项。
|
||||
* 现在我们需要创建一个Kubernetes secret来保存我们heketi实例的配置。必须将配置文件的执行程序设置为 kubernetes才能让heketi server控制gluster pod（配置文件的默认配置）。除此这些，可以尝试配置的其他选项。
|
||||
|
||||
```
|
||||
$ kubectl create secret generic heketi-config-secret --from-file=./heketi.json
|
||||
|
|
@ -101,7 +101,7 @@ glusterfs-ip-172-20-0-218.ec2.internal-2001140516-i9dw9 1/1 Running 0
|
|||
glusterfs-ip-172-20-0-219.ec2.internal-2785213222-q3hba 1/1 Running 0 1h
|
||||
```
|
||||
|
||||
* 当Bootstrap Heketi服务正在运行，我们配置端口转发，以便我们可以使用Heketi CLI与服务进行通信。使用Heketi pod的名称，运行下面的命令：
|
||||
* 当Bootstrap heketi服务正在运行，我们配置端口转发，以便我们可以使用heketi CLI与服务进行通信。使用heketi pod的名称，运行下面的命令：
|
||||
|
||||
`kubectl port-forward deploy-heketi-1211581626-2jotm :8080`
|
||||
|
||||
|
|
@ -109,29 +109,29 @@ glusterfs-ip-172-20-0-219.ec2.internal-2785213222-q3hba 1/1 Running 0
|
|||
|
||||
`kubectl port-forward deploy-heketi-1211581626-2jotm 8080:8080`
|
||||
|
||||
现在通过对Heketi服务运行示例查询来验证端口转发是否正常。该命令应该已经打印了将从其转发的本地端口。将其合并到URL中以测试服务，如下所示：
|
||||
现在通过对heketi服务运行示例查询来验证端口转发是否正常。该命令应该已经打印了将从其转发的本地端口。将其合并到URL中以测试服务，如下所示：
|
||||
|
||||
```
|
||||
curl http://localhost:8080/hello
|
||||
Handling connection for 8080
|
||||
Hello from Heketi
|
||||
Hello from heketi
|
||||
```
|
||||
|
||||
最后，为Heketi CLI客户端设置一个环境变量，以便它知道Heketi服务器的地址。
|
||||
最后，为heketi CLI客户端设置一个环境变量，以便它知道heketi服务器的地址。
|
||||
|
||||
`export HEKETI_CLI_SERVER=http://localhost:8080`
|
||||
`export heketi_CLI_SERVER=http://localhost:8080`
|
||||
|
||||
* 接下来，我们将向Heketi提供有关要管理的GlusterFS集群的信息。通过拓扑文件提供这些信息。克隆的repo中有一个示例拓扑文件，名为topology-sample.json。拓扑指定运行GlusterFS容器的Kubernetes节点以及每个节点的相应原始块设备。
|
||||
* 接下来，我们将向heketi提供有关要管理的GlusterFS集群的信息。通过拓扑文件提供这些信息。克隆的repo中有一个示例拓扑文件，名为topology-sample.json。拓扑指定运行GlusterFS容器的Kubernetes节点以及每个节点的相应原始块设备。
|
||||
|
||||
确保hostnames/manage指向如下所示的确切名称kubectl get nodes得到的主机名（如ubuntu-1），并且hostnames/storage是存储网络的IP地址（对应ubuntu-1的ip地址）。
|
||||
|
||||
|
||||
|
||||
|
||||
**IMPORTANT**: 重要提示，目前，必须使用与服务器版本匹配的heketi-cli版本加载拓扑文件。另外，Heketi pod 带有可以通过 `kubectl exec ...`访问的heketi-cli副本。
|
||||
**IMPORTANT**: 重要提示，目前，必须使用与服务器版本匹配的heketi-cli版本加载拓扑文件。另外，heketi pod 带有可以通过 `kubectl exec ...`访问的heketi-cli副本。
|
||||
|
||||
|
||||
修改拓扑文件以反映您所做的选择，然后如下所示部署它（修改主机名，IP，block 设备的名称 如sdb）：
|
||||
修改拓扑文件以反映您所做的选择，然后如下所示部署它（修改主机名，IP，block 设备的名称 如xvdg）：
|
||||
|
||||
```
|
||||
heketi-client/bin/heketi-cli topology load --json=topology-sample.json
|
||||
|
|
@ -144,22 +144,22 @@ Handling connection for 57598
|
|||
Adding device /dev/xvdg ... OK
|
||||
```
|
||||
|
||||
* 接下来，我们将使用Heketi为其存储其数据库提供一个卷（不要怀疑，就是使用这个命令，openshift和kubernetes通用）：
|
||||
* 接下来，我们将使用heketi为其存储其数据库提供一个卷（不要怀疑，就是使用这个命令，openshift和kubernetes通用）：
|
||||
|
||||
```
|
||||
# heketi-client/bin/heketi-cli setup-openshift-heketi-storage
|
||||
# kubectl create -f heketi-storage.json
|
||||
```
|
||||
|
||||
> Pitfall: 注意，如果在运行setup-openshift-heketi-storage子命令时heketi-cli报告“无空间”错误，则可能无意中运行topology load命令的时候服务端和heketi-cli的版本不匹配造成的。停止正在运行的Heketi pod（kubectl scale deployment deploy-heketi --replicas=0），手动删除存储块设备中的任何签名，然后继续运行Heketi pod（kubectl scale deployment deploy-heketi --replicas=1）。然后用匹配版本的heketi-cli重新加载拓扑，然后重试该步骤。
|
||||
> Pitfall: 注意，如果在运行setup-openshift-heketi-storage子命令时heketi-cli报告“无空间”错误，则可能无意中运行topology load命令的时候服务端和heketi-cli的版本不匹配造成的。停止正在运行的heketi pod（kubectl scale deployment deploy-heketi --replicas=0），手动删除存储块设备中的任何签名，然后继续运行heketi pod（kubectl scale deployment deploy-heketi --replicas=1）。然后用匹配版本的heketi-cli重新加载拓扑，然后重试该步骤。
|
||||
|
||||
* 等到作业完成后，删除bootstrap Heketi相关的组件：
|
||||
* 等到作业完成后，删除bootstrap heketi相关的组件：
|
||||
|
||||
```
|
||||
# kubectl delete all,service,jobs,deployment,secret --selector="deploy-heketi"
|
||||
```
|
||||
|
||||
* 创建长期使用的Heketi实例：
|
||||
* 创建长期使用的heketi实例：
|
||||
|
||||
```
|
||||
# kubectl create -f heketi-deployment.json
|
||||
|
|
@ -167,9 +167,9 @@ service "heketi" created
|
|||
deployment "heketi" created
|
||||
```
|
||||
|
||||
* 这样做了以后，Heketi db将使用GlusterFS卷，并且每当Heketi pod重新启动时都不会重置。
|
||||
* 这样做了以后，heketi db将使用GlusterFS卷，并且每当heketi pod重新启动时都不会重置。
|
||||
|
||||
使用诸如heketi-cli cluster list和的命令heketi-cli volume list 来确认先前建立的集群存在，并且Heketi可以列出在bootstrap阶段创建的db存储卷。
|
||||
使用诸如heketi-cli cluster list和的命令heketi-cli volume list 来确认先前建立的集群存在，并且heketi可以列出在bootstrap阶段创建的db存储卷。
|
||||
|
||||
|
||||
# Usage Example
|
||||
|
|
@ -266,14 +266,14 @@ heketi-5c8ffcc756-x9gnv 1/1 Running 5
|
|||
apiVersion: storage.k8s.io/v1
|
||||
kind: StorageClass
|
||||
metadata:
|
||||
name: slow #-------------SC的名字
|
||||
name: slow #-------------SC的名字
|
||||
provisioner: kubernetes.io/glusterfs
|
||||
parameters:
|
||||
resturl: "http://10.103.98.75:8080" #-------------heketi service的cluster ip 和端口
|
||||
restuser: "admin" #-------------随便填，因为没有启用鉴权模式
|
||||
resturl: "http://10.103.98.75:8080" #-------------heketi service的cluster ip 和端口
|
||||
restuser: "admin" #-------------随便填，因为没有启用鉴权模式
|
||||
gidMin: "40000"
|
||||
gidMax: "50000"
|
||||
volumetype: "replicate:3" #-------------申请的默认为3副本模式
|
||||
volumetype: "replicate:3" #-------------申请的默认为3副本模式
|
||||
|
||||
```
|
||||
|
||||
|
|
@ -389,7 +389,7 @@ root@mysql2-mysql-56d64f5b77-j2v84:/var/lib/mysql# dd if=/dev/zero of=test.img b
|
|||
dd: error writing 'test.img': Read-only file system
|
||||
dd: closing output file 'test.img': Input/output error
|
||||
```
|
||||
查看写满以后的文件和挂载信息（挂载信息显示bug，应该是glusterfs的bug）
|
||||
查看写满以后的文件大小和挂载信息（挂载信息显示bug，应该是glusterfs的bug）
|
||||
|
||||
```
|
||||
root@mysql2-mysql-56d64f5b77-j2v84:/var/lib/mysql# ls -l
|
||||
|
|
@ -415,5 +415,13 @@ shm 64M 0 64M 0% /dev/s
|
|||
tmpfs 1.5G 12K 1.5G 1% /run/secrets/kubernetes.io/serviceaccount
|
||||
tmpfs 1.5G 0 1.5G 0% /sys/firmware
|
||||
```
|
||||
查看文件夹大小，为2G
|
||||
|
||||
```
|
||||
# du -h
|
||||
25M ./mysql
|
||||
825K ./performance_schema
|
||||
496K ./sys
|
||||
2.0G .
|
||||
```
|
||||
如上说明glusterfs的限额作用是起效的
|
||||
|
|
|
|||
Loading…
Reference in New Issue