kubernetes-handbook/practice/openebs.md

80 lines
6.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

# OpenEBS
[OpenEBS](https://github.com/openebs/openebs)是一款使用Go语言编写的基于容器的块存储开源软件。OpenEBS使得在容器中运行关键性任务和需要数据持久化的负载变得更可靠。
OpenEBS由CloudByte研发这是一家专业做容器化存储的公司OpenEBS是其一款开源产品CloudByte将其在企业级容器存储的经验付诸到该项目中。这个项目的愿景也很简单就是让需要持久化存储的工作负载中的存储服务能够直接集成在环境中存储服务可以自动管理将存储的细节隐藏起来就像存储系统是另一套基础架构一样。
我们知道AWS中提供了[EBS](https://amazonaws-china.com/cn/ebs/)Elastic Block Storage适用于 Amazon EC2 的持久性块存储可以满足要求最苛刻的应用程序在功能和性能方面的要求OpenEBS即其开源实现。
## 简介
使用OpenEBS你可以将有持久化数据的容器像对待其他普通容器一样来对待。OpenEBS本身也是通过容器来部署的支持Kubernetes、Swarm、Mesos、Rancher编排调度存储服务可以分派给每个pod、应用程序、集群或者容器级别包括
- 跨节点的数据持久化
- 跨可用区和云厂商的数据同步
- 使用商业硬件和容器引擎来提供高可扩展的块存储
- 与容器编排引擎集成开发者的应用程序可以自动的配置OpenEBS
- 基于CloudByte在BSD的容器化经验为用户提供OpenEBS的QoS保证
## 架构
OpenEBS存储控制器本身就运行在容器中。OpenEBS Volume由一个或多个以微服务方式运行的容器组成。这种存储控制器功能基于微服务架构——每个卷的数据由其自己的一组容器来提供而不是由一个统一的同时为多个卷提供控制的单体monolithic存储控制器来提供。这就是OpenEBS与传统存储设备的本质区别。
OpenEBS的架构可以分为数据平面Data Plane和控制平面Control Plane两部分
- 数据平面:为应用程序提供数据存储
- 控制平面管理OpenEBS卷容器这通常会用到容器编排软件的功能
### 数据平面
下图是OpenEBS对应在Kubernetes集群上部署的架构图。其中黄色部分是OpenEBS持久化存储卷通过Kubernetes的PV来创建使用iSCSI来实现数据保存在node节点上或者云中的卷如EBS、GPD等这取决于您的集群部署在哪里。OpenEBS的卷完全独立于用户的应用的生命周期来管理这也是Kuberentes中的PV的基本思路。
![OpenEBS集群数据平面图片来自https://github.com/openebs/openebs/blob/master/contribute/design/README.md](../images/OpenEBS-Data-Plane.png)
OpenEBS卷为容器提供持久化存储具有针对系统故障的弹性更快地访问存储快照和备份功能。此外它还提供了监控使用情况和执行QoS策略的机制。
存储数据的磁盘称为存储后端可以是主机目录附加块设备或远程磁盘。每个OpenEBS卷包含一个iSCSI目标容器在上图中表示为openebs-vol1和一个或多个副本容器openebs-vol1-R1和openebs-vol1-R2
应用程序pod通过iSCSI目标容器访问存储iSCSI目标容器将数据复制到其所有副本。在发生节点故障时iSCSI目标容器将从剩余的其中一个在线节点上启动并通过连接到可用副本容器来提供数据。
**源码**
该部分的实现包括两个容器:
- [openebs/jiva](https://github.com/openebs/jiva):存储控制功能,包括复制逻辑
- [openebs/gotgt](https://github.com/openebs/gotgt)由openebs/jiva使用的iSCSI目标功能
### 控制平面
OpenEBS控制平面又叫做存储编排或maya。目的是为了创建超融合的OpenEBS将其挂载到如Kubernetes、Swarm、Nomad等容器编排调度引擎上用来扩展特定的容器编排系统提供的存储功能。
![OpenEBS集群的控制平面(图片来自https://github.com/openebs/openebs/blob/master/contribute/design/README.md](../images/OpenEBS-Control-Plane.png)
OpenEBS的控制平面也是基于微服务的它的服务可以分成以下几个部分
- 容器编排插件,用于增加强容器编排框架的功能:
- **Kubernetes动态配置**[openebs-provisioner](https://github.com/openebs/external-storage/tree/master/openebs)
- **Kubernetes-dashboard**[openebs-dashboard](https://github.com/openebs/dashboard)
- **扩展的schema**基于Kubernetes的CRD自定义资源类型存储OpenEBS相关的配置数据
- 集群服务提供OpenEBS特定的存储智能
- **maya-apiserver**包含执行卷操作的API可将请求转换为容器编排系统特定的操作
- **maya-mulebot**:使用收集的信息来建议优化的布局和事件处理提示
- **maya-connect**:允许将监控数据上传到`maya-cloud`,以便进一步进行存储访问模式分析
- 节点服务提供OpenEBS特定的随kubelet一起运行的存储智能
- **maya-agent**:包括存储管理功能
通过使用prometheus、heapster、grafana和jaegar进行上述服务可以添加监控和跟踪功能。
**源码**
- [openebs/maya](https://github.com/openebs/maya):所有特定的二进制代码(非插件)都存储在这个仓库中,比如`maya-apiserver`、`maya-agent`、`maya-mulebot`、`maya-connect`、`mayactl`等等。
- [openebs-dashboard](https://github.com/openebs/dashboard)kubernetes-dashboard项目的分支扩展了存储功能。
- [openebs-provisioner](https://github.com/openebs/external-storage/tree/master/openebs)来自Kubernetes孵化器项目的OpenEBS K8s Provisioner。
## 参考
- https://www.openebs.io/
- https://github.com/openebs/openebs
- [Data Scientists adopting tools and solutions that allow them to focus more on Data Science and less on the infrastructure around them](https://blog.openebs.io/data-scientists-adopting-tools-and-solutions-that-allow-them-to-focus-more-on-data-science-and-less-db9654063bd5)