2017-10-20 10:46:51 +08:00
# Kubernetes与云原生应用概览
几个月前Mesos已经宣布支持kubernetes， ，
作为全书的开头， ， ， ， ， ，
## 从云计算到微服务再到云原生计算
下面将从云计算的发展历程引入云原生计算，请先看下图：
2017-11-16 11:42:51 +08:00
云原生应用到2020年将比目前至少翻一番，
2017-10-20 10:46:51 +08:00
### 云计算介绍
云计算包含的内容十分繁杂，也有很多技术和公司牵强赴会说自己是云计算公司，说自己是做云的，实际上可能风马牛不相及。说白了，云计算就是一种配置资源的方式，根据资源配置方式的不同我们可以把云计算从宏观上分为以下三种类型：
- IaaS： ，
- PaaS： ， ，
- SaaS： ， ， ， ， ， ，
### 微服务介绍
微服务（ ） ， ， ， ， ， ， ，
要想了解微服务的详细内容推荐阅读《微服务设计》（ ） ， 微服务设计读书笔记 ](https://jimmysong.io/posts/microservice-reading-notes/ )。
下文中会谈到kubernetes与微服务的关系，
### 云原生概念介绍
下面是Cloud Native概念思维导图
云原生准确来说是一种文化，更是一种潮流，它是云计算的一个必然导向。它的意义在于让云成为云化战略成功的基石，而不是阻碍，如果业务应用上云之后开发和运维人员比原先还痛苦，成本高企的话，这样的云我们宁愿不不上。
自从云的概念开始普及，许多公司都部署了实施云化的策略，纷纷搭建起云平台，希望完成传统应用到云端的迁移。但是这个过程中会遇到一些技术难题，上云以后，效率并没有变得奇高，故障也没有迅速定位。
为了解决传统应用升级缓慢、架构臃肿、不能快速迭代、故障不能快速定位、问题无法快速解决等问题，云原生这一概念横空出世。云原生可以改进应用开发的效率，改变企业的组织结构，甚至会在文化层面上直接影响一个公司的决策。
另外，云原生也很好地解释了云上运行的应用应该具备什么样的架构特性——敏捷性、可扩展性、故障可恢复性。
综上所述，云原生应用应该具备以下几个关键词：
- 敏捷
- 可靠
- 高弹性
- 易扩展
- 故障隔离保护
- 不中断业务持续更新
以上特性也是云原生区别于传统云应用的优势特点。
从宏观概念上讲，云原生是不同思想的集合，集目前各种热门技术之大成，具体包括如下图所示的几个部分。
## Kubernetes与云原生的关系
Kuberentes可以说是乘着docker和微服务的东风， ， ， Twelve-factor App ](https://12factor.net/ )了。
下面我将讲解Kubernetes设计时是如何按照了十二因素应用法则， ，
### Kubernetes介绍
[Kubernetes ](http://kubernetes.io )是Google基于[Borg](https://research.google.com/pubs/pub43438.html)开源的容器编排调度引擎，作为[CNCF](http://cncf.io)（ ） ， ， ， ， ，
更直白的说， ， ， ， ， ，
### 12因素应用
12因素应用提出已经有几年的时间了， ， ， ， ，
大家不要孤立的来看这每一个因素， ，
**1.基准代码**
每个代码仓库（ ） ， ，
**2.依赖**
显式得声明代码中的依赖， ，
**3.配置**
将配置与代码分离，
**4.后端服务**
把后端服务当作附加资源，实质上是计算存储分离和降低服务耦合，分解单体应用。
**5.构建、发布、运行**
严格分离构建和运行，每次修改代码生成新的镜像，重新发布，不能直接修改运行时的代码和配置。
**6.进程**
应用程序进程应该是无状态的，这意味着再次重启后还可以计算出原先的状态。
**7.端口绑定**
在kubernetes中每个Pod都有独立的IP， ， ，
**8.并发**
每个容器都是一个进程，通过增加容器的副本数实现并发。
**9.易处理**
快速启动和优雅终止可最大化健壮性，
**10.开发环境与线上环境等价**
在kubernetes中可以创建多个namespace， ，
**11.日志**
把日志当作事件流， ，
**12.管理进程**
后台管理任务当作一次性进程运行，`kubectl exec`进入容器内部操作。
另外，[Cloud Native Go](https://jimmysong.io/cloud-native-go) 这本书的作者， ， ：
**API优先**
- 服务间的合约
- 团队协作的规约
- 文档化、规范化
- RESTful或RPC
**监控**
- 实时监控远程应用
- 应用性能监控（ ）
- 应用健康监控
- 系统日志
- 不建议在线Debug
**认证授权**
- 不要等最后才去考虑应用的安全性
- 详细设计、明确声明、文档化
- Bearer token、OAuth、OIDC认证
- 操作审计
详见[High Level Cloud Native From Kevin Hoffman](https://jimmysong.io/posts/high-level-cloud-native-from-kevin-hoffman/)。
## Kubernetes中的资源管理与容器设计模式
Kubernetes通过声明式配置， ， ， ， ，
2017-11-10 17:07:46 +08:00
而容器生态的成熟是 Kubernetes 诞生的前提，在谈到容器的设计模式之前我们先来了解下容器生态，请看下图：
关于 Docker 容器的更多内容请参考 [Docker最佳实践 ](../appendix/docker-best-practice.md )。
2017-10-20 10:46:51 +08:00
### 容器的设计模式
Kubernetes提供了多种资源对象， ：
| 类别 | 名称 |
| :--- | ---------------------------------------- |
| 资源对象 | Pod、ReplicaSet、ReplicationController、Deployment、StatefulSet、DaemonSet、Job、CronJob、HorizontalPodAutoscaling |
| 配置对象 | Node、Namespace、Service、Secret、ConfigMap、Ingress、Label、ThirdPartyResource、 ServiceAccount |
| 存储对象 | Volume、Persistent Volume |
| 策略对象 | SecurityContext、ResourceQuota、LimitRange |
在 Kubernetes 系统中，*Kubernetes 对象* 是持久化的条目。Kubernetes 使用这些条目去表示整个集群的状态。特别地，它们描述了如下信息：
- 什么容器化应用在运行（以及在哪个 Node 上）
- 可以被应用使用的资源
- 关于应用如何表现的策略，比如重启策略、升级策略，以及容错策略
Kubernetes 对象是 “目标性记录” —— 一旦创建对象， ** 期望状态**。
详见[Kubernetes Handbook - Objects](https://jimmysong.io/kubernetes-handbook/concepts/objects.html)。
### 资源限制与配额
两层的资源限制与配置
- Pod级别，
- Namespace级别，
请参考[Kubernetes中的ResourceQuota和LimitRange配置资源限额](https://jimmysong.io/posts/kubernetes-resourcequota-limitrange-management/)
## 管理Kubernetes集群
手工部署Kubernetes是一个很艰巨的活，
我编写了一本[kubernetes-handbook](https://jimmysong.io/kubernetes-handbook/)可供大家免费阅读， ， ， ， ，
### 部署Kubernetes集群
使用二进制部署 `kubernetes` 集群的所有组件和插件，而不是使用 `kubeadm` 等自动化方式来部署集群， ， ，
**集群详情**
- Kubernetes 1.6.0
- Docker 1.12.5（ ）
- Etcd 3.1.5
- Flanneld 0.7 vxlan 网络
- TLS 认证通信 (所有组件，如 etcd、kubernetes master 和 node)
- RBAC 授权
- kublet TLS BootStrapping
- kubedns、dashboard、heapster(influxdb、grafana)、EFK(elasticsearch、fluentd、kibana) 集群插件
- 私有docker镜像仓库[harbor](https://github.com/vmware/harbor)（ ， ， ）
**步骤介绍**
- [1 创建 TLS 证书和秘钥 ](https://jimmysong.io/kubernetes-handbook/practice/create-tls-and-secret-key.html )
- [2 创建kubeconfig 文件 ](https://jimmysong.io/kubernetes-handbook/practice/create-kubeconfig.html )
- [3 创建高可用etcd集群 ](https://jimmysong.io/kubernetes-handbook/practice/etcd-cluster-installation.html )
- [4 安装kubectl命令行工具 ](https://jimmysong.io/kubernetes-handbook/practice/kubectl-installation.html )
- [5 部署master节点 ](https://jimmysong.io/kubernetes-handbook/practice/master-installation.html )
- [6 部署node节点 ](https://jimmysong.io/kubernetes-handbook/practice/node-installation.html )
- [7 安装kubedns插件 ](https://jimmysong.io/kubernetes-handbook/practice/kubedns-addon-installation.html )
- [8 安装dashboard插件 ](https://jimmysong.io/kubernetes-handbook/practice/dashboard-addon-installation.html )
- [9 安装heapster插件 ](https://jimmysong.io/kubernetes-handbook/practice/heapster-addon-installation.html )
- [10 安装EFK插件 ](https://jimmysong.io/kubernetes-handbook/practice/efk-addon-installation.html )
### 服务发现与负载均衡
Kubernetes在设计之初就充分考虑了针对容器的服务发现与负载均衡机制， ， ， ， ， ， ：
- **Service**： ，
- **Ingress**： ，
- **Service Load Balancer**： ，
- **Custom Load Balancer**： ， ， ，
详见[Kubernetes Handbook - 服务发现与负载均衡](https://jimmysong.io/kubernetes-handbook/practice/service-discovery-and-loadbalancing.htmll)。
### 持续集成与发布
应用构建和发布流程说明：
1. 用户向Gitlab提交代码，
2. 将代码提交到远程仓库
3. 用户在发布应用时需要填写git仓库地址和分支、服务类型、服务名称、资源数量、实例个数，
4. Jenkins的CI流水线自动编译代码并打包成docker镜像推送到Harbor镜像仓库
5. Jenkins的CI流水线中包括了自定义脚本， ，
6. 生成应用的kubernetes YAML配置文件
7. 更新Ingress的配置， ，
8. 更新PowerDNS， ， ，
9. Jenkins调用kubernetes的API，
### 日志收集与监控
基于现有的ELK日志收集方案， ， ， ，
详见[Kubernetes Handbook - 应用日志收集](https://jimmysong.io/kubernetes-handbook/practice/app-log-collection.html)。
### 安全性与权限管理
Kubernetes是一个多租户的云平台， ， ：
- 网络隔离：需要使用网络插件，比如[calico](https://www.projectcalico.org/)。
- 资源隔离： ， ，
- 身份隔离：使用[RBAC-基于角色的访问控制](https://jimmysong.io/kubernetes-handbook/guide/rbac.html)，多租户的身份认证和权限控制。
## 如何开发Kubernetes原生应用步骤介绍
当我们有了一个kubernetes集群后， ， ？ ， ， ，
### 云原生应用开发示例
我们将按照如下步骤来开发部署一个kubernetes原生应用并将它部署到kubernetes集群上开放给集群外访问：
1. 服务API的定义
2. 使用Go语言开发kubernetes原生应用
3. 一个持续构建与发布工具与环境
4. 使用traefik和VIP做边缘节点提供外部访问路由
我写了两个示例用于演示，开发部署一个伪造的 metric 并显示在 web 页面上， ：
- [k8s-app-monitor-test ](https://github.com/rootsongjc/k8s-app-monitor-test )： ， ，
- [K8s-app-monitor-agent ](https://github.com/rootsongjc/k8s-app-monitor-agent )：获取监控数据并绘图，访问浏览器获取图表
**定义API生成API文档**
使用`API blueprint`格式， ， ，
详见：[如何开发部署kubernetes native应用](https://jimmysong.io/posts/creating-cloud-native-app-with-kubernetes/)。
## 如何迁移到云原生应用架构
[Pivotal ](https://pivotal.io/ ) 是云原生应用的提出者，并推出了 [Pivotal Cloud Foundry ](https://pivotal.io/platform ) 云原生应用平台和 [Spring ](https://spring.io/ ) 开源 Java 开发框架，成为云原生应用架构中先驱者和探路者。
原书作于2015年， Linkerd ](https://linkerd.io/ ) 和 [Istio ](https://istio.io/ )） ， Cloud Native Go ](http://rootsongjc.github.io/cloud-native-go )）等为我们将应用迁移到云原生架构的提供了更多的方案选择。
### 迁移到云原生应用架构指南
指出了迁移到云原生应用架构需要做出的企业文化、组织架构和技术变革，并给出了迁移指南。
主要讨论的应用程序架构包括：
- 十二因素应用程序：云原生应用程序架构模式的集合
- 微服务：独立部署的服务，只做一件事情
- 自助服务的敏捷基础设施：快速，可重复和一致地提供应用环境和后台服务的平台
- 基于API的协作： ，
- 抗压性：根据压力变强的系统
详见：[迁移到云原生应用架构](https://jimmysong.io/migrating-to-cloud-native-application-architectures/)
### 迁移案例解析
迁移步骤示意图如下：
步骤说明：
1. 将原有应用拆解为服务
2. 容器化、制作镜像
3. 准备应用配置文件
4. 准备kubernetes YAML文件
5. 编写bootstarp脚本
6. 创建ConfigMaps
详见：[迁移传统应用到Kubernetes步骤详解——以Hadoop YARN为例](https://jimmysong.io/posts/migrating-hadoop-yarn-to-kubernetes/)。
## Service mesh基本原理和示例介绍
Service mesh现在一般被翻译作服务网格， ：
- [Istio ](https://istio.io )： ，
- [Linkerd ](https://linkerd.io )： ，
### 什么是Service mesh
如果用一句话来解释什么是 Service Mesh， ， ，
详见[什么是 service mesh - jimmysong.io](https://jimmysong.io/posts/what-is-a-service-mesh/)。
### Service mesh使用指南
两款Service mesh各有千秋， ：
- [微服务管理框架service mesh——Linkerd安装试用笔记 ](https://jimmysong.io/posts/linkerd-user-guide/ )
- [微服务管理框架service mesh——Istio安装试用笔记 ](https://jimmysong.io/posts/istio-installation/ )
2017-11-10 17:07:46 +08:00
更多关于 Service Mesh 的内容请访问 [Service Mesh 中文网 ](http://www.servicemesh.cn )。
2017-10-20 10:46:51 +08:00
## 使用案例
Kubernetes作为云原生计算的基本组件之一， ， ， ， ，
关于Cloud Native开源软件生态请参考 [Awesome Cloud Native - jimmysong.io ](https://jimmysong.io/awesome-cloud-native )。
### DevOps
下面是社区中kubernetes开源爱好者的分享内容，
真正践行DevOps， ， ， ， ， ，
**行动指南**
1. 根据环境（比如开发、测试、生产）划分`namespace`，也可以根据项目来划分
2. 再为每个用户划分一个`namespace`、创建一个`serviceaccount`和`kubeconfig`文件，不同`namespace`间的资源隔离，目前不隔离网络，不同`namespace`间的服务可以互相访问
3. 创建yaml模板，
4. 在`kubectl`命令上再封装一层，增加用户身份设置和环境初始化操作，简化`kubectl`命令和常用功能
5. 管理员通过dashboard查看不同`namespace`的状态，也可以使用它来使操作更便捷
6. 所有应用的日志统一收集到ElasticSearch中，
7. 可以通过Grafana查看所有namespace中的应用的状态和kubernetes集群本身的状态
8. 需要持久化的数据保存在分布式存储中，
**使用Kibana查看日志**
日志字段中包括了应用的标签、容器名称、主机名称、宿主机名称、IP地址、时间、
**使用Grafana查看应用状态**
**注**：
监控分类示意图：
Kubernetes集群全局监控图1
该监控图可以看到集群硬件使用情况。
Kubernetes全局监控图2
该监控可以看到单个用户的namespace下的所有资源的使用情况。
### Spark on Kubernetes
TL;DR https://jimmysong.io/spark-on-k8s
Spark原生支持standalone、mesos和YARN资源调度， ，
**为何要使用spark on kubernetes**
使用kubernetes原生调度的spark on kubernetes是对原先的spark on yarn和yarn on docker的改变是革命性的， ：
1. **Kubernetes原生调度** ： ， ， ；
2. ** 资源隔离，粒度更细**： ， ， ， ；
3. ** 细粒度的资源分配**： ， ， （ ） ， ；
4. ** 监控的变革**： ， ， ， ， ；
5. ** 日志的变革**： ， ， ， ；
**如何提交任务**
仍然使用`spark-submit`提交spark任务， ， ，
详细使用说明见[Apache Spark on Kubernetes用户指南 - jimmysong.io](https://jimmysong.io/spark-on-k8s/user-guide.html)。
```bash
./spark-submit \
--deploy-mode cluster \
--class com.talkingdata.alluxio.hadooptest \
--master k8s://https://172.20.0.113:6443 \
--kubernetes-namespace spark-cluster \
--conf spark.kubernetes.driverEnv.SPARK_USER=hadoop \
--conf spark.kubernetes.driverEnv.HADOOP_USER_NAME=hadoop \
--conf spark.executorEnv.HADOOP_USER_NAME=hadoop \
--conf spark.executorEnv.SPARK_USER=hadoop \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.driver.memory=100G \
--conf spark.executor.memory=10G \
--conf spark.driver.cores=30 \
--conf spark.executor.cores=2 \
--conf spark.driver.maxResultSize=10240m \
--conf spark.kubernetes.driver.limit.cores=32 \
--conf spark.kubernetes.executor.limit.cores=3 \
--conf spark.kubernetes.executor.memoryOverhead=2g \
--conf spark.executor.instances=5 \
--conf spark.app.name=spark-pi \
--conf spark.kubernetes.driver.docker.image=sz-pg-oam-docker-hub-001.tendcloud.com/library/spark-driver:v2.1.0-kubernetes-0.3.1-1 \
--conf spark.kubernetes.executor.docker.image=sz-pg-oam-docker-hub-001.tendcloud.com/library/spark-executor:v2.1.0-kubernetes-0.3.1-1 \
--conf spark.kubernetes.initcontainer.docker.image=sz-pg-oam-docker-hub-001.tendcloud.com/library/spark-init:v2.1.0-kubernetes-0.3.1-1 \
--conf spark.kubernetes.resourceStagingServer.uri=http://172.20.0.114:31000 \
~/Downloads/tendcloud_2.10-1.0.jar
```
**监控**
下图是从Kubernetes dashboard上看到的spark-cluster这个namespace上运行的应用情况。
下图是从Grafana监控页面上查看到的某个executor资源占用情况。
