发布spark on kubernetes
parent
7d6d4458c1
commit
e986339b7f
|
@ -53,6 +53,8 @@
|
|||
- [5.1.1 Istio](usecases/istio.md)
|
||||
- [5.1.1.1 安装istio](usecases/istio-installation.md)
|
||||
- [5.1.1.2 配置请求的路由规则](usecases/configuring-request-routing.md)
|
||||
- [5.2 大数据](usecases/big-data.md)
|
||||
- [5.2.1 Spark on Kubernetes](usecases/spark-on-kubernetes.md)
|
||||
- [6. 开发指南](develop/index.md)
|
||||
- [6.1 开发环境搭建](develop/developing-environment.md)
|
||||
- [6.2 单元测试和集成测试](develop/testing.md)
|
||||
|
|
Binary file not shown.
After Width: | Height: | Size: 473 KiB |
Binary file not shown.
After Width: | Height: | Size: 416 KiB |
|
@ -0,0 +1,7 @@
|
|||
# 大数据
|
||||
|
||||
Kubernetes community中已经有了一个[Big data SIG](https://github.com/kubernetes/community/tree/master/sig-big-data),大家可以通过这个SIG了解kubernetes结合大数据的应用。
|
||||
|
||||
其实在Swarm、Mesos、kubernetes这三种流行的容器编排调度架构中,Mesos对于大数据应用支持是最好的,spark原生就是运行在mesos上的,当然也可以容器化运行在kubernetes上。
|
||||
|
||||
[Spark on Kubernetes](spark-on-kubernetes.md)
|
|
@ -0,0 +1,53 @@
|
|||
# Spark on Kubernetes
|
||||
|
||||
时速云上提供的镜像docker pull index.tenxcloud.com/google_containers/spark:1.5.2_v1都下载不下来。
|
||||
|
||||
因此我自己编译的spark的镜像。
|
||||
|
||||
编译好后上传到了时速云镜像仓库
|
||||
|
||||
```
|
||||
index.tenxcloud.com/jimmy/spark:1.5.2_v1
|
||||
index.tenxcloud.com/jimmy/zeppelin:0.7.1
|
||||
```
|
||||
|
||||
代码和使用文档见Github地址:https://github.com/rootsongjc/spark-on-kubernetes
|
||||
|
||||
## 在Kubernetes上启动spark
|
||||
|
||||
创建名为spark-cluster的namespace,所有操作都在该namespace中进行。
|
||||
|
||||
所有yaml文件都在`manifests`目录下。
|
||||
|
||||
```
|
||||
$ kubectl create -f manifests/
|
||||
```
|
||||
|
||||
将会启动一个拥有三个worker的spark集群和zeppelin。
|
||||
|
||||
同时在该namespace中增加ingress配置,将spark的UI和zeppelin页面都暴露出来,可以在集群外部访问。
|
||||
|
||||
该ingress后端使用traefik。
|
||||
|
||||
## 访问spark
|
||||
|
||||
通过上面对ingress的配置暴露服务,需要修改本机的/etc/hosts文件,增加以下配置,使其能够解析到上述service。
|
||||
|
||||
```
|
||||
172.20.0.119 zeppelin.traefik.io
|
||||
172.20.0.119 spark.traefik.io
|
||||
```
|
||||
|
||||
172.20.0.119是我设置的VIP地址,VIP的设置和traefik的配置请查看[kubernetes-handbook](https://github.com/rootsongjc/kubernetes-handbook)。
|
||||
|
||||
**spark ui**
|
||||
|
||||
访问http://spark.traefik.io
|
||||
|
||||
![spark master ui](../images/spark-ui.jpg)
|
||||
|
||||
**zeppelin ui**
|
||||
|
||||
访问http://zepellin.treafik.io
|
||||
|
||||
![zeppelin ui](../images/zeppelin-ui.jpg)
|
Loading…
Reference in New Issue