diff --git a/SUMMARY.md b/SUMMARY.md index 5e0f4f54e..1daa12269 100644 --- a/SUMMARY.md +++ b/SUMMARY.md @@ -53,6 +53,8 @@ - [5.1.1 Istio](usecases/istio.md) - [5.1.1.1 安装istio](usecases/istio-installation.md) - [5.1.1.2 配置请求的路由规则](usecases/configuring-request-routing.md) + - [5.2 大数据](usecases/big-data.md) + - [5.2.1 Spark on Kubernetes](usecases/spark-on-kubernetes.md) - [6. 开发指南](develop/index.md) - [6.1 开发环境搭建](develop/developing-environment.md) - [6.2 单元测试和集成测试](develop/testing.md) diff --git a/images/spark-ui.jpg b/images/spark-ui.jpg new file mode 100644 index 000000000..2b025dfb5 Binary files /dev/null and b/images/spark-ui.jpg differ diff --git a/images/zeppelin-ui.jpg b/images/zeppelin-ui.jpg new file mode 100644 index 000000000..ee166ffe7 Binary files /dev/null and b/images/zeppelin-ui.jpg differ diff --git a/usecases/big-data.md b/usecases/big-data.md new file mode 100644 index 000000000..f9dcb2c7a --- /dev/null +++ b/usecases/big-data.md @@ -0,0 +1,7 @@ +# 大数据 + +Kubernetes community中已经有了一个[Big data SIG](https://github.com/kubernetes/community/tree/master/sig-big-data),大家可以通过这个SIG了解kubernetes结合大数据的应用。 + +其实在Swarm、Mesos、kubernetes这三种流行的容器编排调度架构中,Mesos对于大数据应用支持是最好的,spark原生就是运行在mesos上的,当然也可以容器化运行在kubernetes上。 + +[Spark on Kubernetes](spark-on-kubernetes.md) \ No newline at end of file diff --git a/usecases/spark-on-kubernetes.md b/usecases/spark-on-kubernetes.md new file mode 100644 index 000000000..87a638515 --- /dev/null +++ b/usecases/spark-on-kubernetes.md @@ -0,0 +1,53 @@ +# Spark on Kubernetes + +时速云上提供的镜像docker pull index.tenxcloud.com/google_containers/spark:1.5.2_v1都下载不下来。 + +因此我自己编译的spark的镜像。 + +编译好后上传到了时速云镜像仓库 + +``` +index.tenxcloud.com/jimmy/spark:1.5.2_v1 +index.tenxcloud.com/jimmy/zeppelin:0.7.1 +``` + +代码和使用文档见Github地址:https://github.com/rootsongjc/spark-on-kubernetes + +## 在Kubernetes上启动spark + +创建名为spark-cluster的namespace,所有操作都在该namespace中进行。 + +所有yaml文件都在`manifests`目录下。 + +``` +$ kubectl create -f manifests/ +``` + +将会启动一个拥有三个worker的spark集群和zeppelin。 + +同时在该namespace中增加ingress配置,将spark的UI和zeppelin页面都暴露出来,可以在集群外部访问。 + +该ingress后端使用traefik。 + +## 访问spark + +通过上面对ingress的配置暴露服务,需要修改本机的/etc/hosts文件,增加以下配置,使其能够解析到上述service。 + +``` +172.20.0.119 zeppelin.traefik.io +172.20.0.119 spark.traefik.io +``` + +172.20.0.119是我设置的VIP地址,VIP的设置和traefik的配置请查看[kubernetes-handbook](https://github.com/rootsongjc/kubernetes-handbook)。 + +**spark ui** + +访问http://spark.traefik.io + +![spark master ui](../images/spark-ui.jpg) + +**zeppelin ui** + +访问http://zepellin.treafik.io + +![zeppelin ui](../images/zeppelin-ui.jpg) \ No newline at end of file