easzlab
/
kubeasz
mirror of https://github.com/easzlab/kubeasz.git
1
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity
kubeasz/docs/guide/efk.md

14 KiB
Raw Blame History

第一部分：EFK

EFK 插件是k8s项目的一个日志解决方案，它包括三个组件：Elasticsearch, Fluentd, Kibana；Elasticsearch 是日志存储和日志搜索引擎，Fluentd 负责把k8s集群的日志发送给 Elasticsearch, Kibana 则是可视化界面查看和检索存储在 ES 中的数据。

准备

参考官方部署文档的基础上使用本项目manifests/efk/部署，以下为几点主要的修改：

  • 修改 fluentd-es-configmap.yaml 中的部分 journald 日志源（增加集群组件服务日志搜集）
  • 修改官方docker镜像，方便国内下载加速
  • 修改 es-statefulset.yaml 支持日志存储持久化等
  • 增加自动清理日志，见后文第四部分

安装

$ kubectl apply -f /etc/kubeasz/manifests/efk/
$ kubectl apply -f /etc/kubeasz/manifests/efk/es-without-pv/

验证

kubectl get pods -n kube-system|grep -E 'elasticsearch|fluentd|kibana'
elasticsearch-logging-0                    1/1       Running   0          19h
elasticsearch-logging-1                    1/1       Running   0          19h
fluentd-es-v2.0.2-6c95c                    1/1       Running   0          17h
fluentd-es-v2.0.2-f2xh8                    1/1       Running   0          8h
fluentd-es-v2.0.2-pv5q5                    1/1       Running   0          8h
kibana-logging-d5cffd7c6-9lz2p             1/1       Running   0          1m

kibana Pod 第一次启动时会用较长时间(10-20分钟)来优化和 Cache 状态页面，可以查看 Pod 的日志观察进度，如下等待 Ready 状态

$ kubectl logs -n kube-system kibana-logging-d5cffd7c6-9lz2p -f
...
{"type":"log","@timestamp":"2018-03-13T07:33:00Z","tags":["listening","info"],"pid":1,"message":"Server running at http://0:5601"}
{"type":"log","@timestamp":"2018-03-13T07:33:00Z","tags":["status","ui settings","info"],"pid":1,"state":"green","message":"Status changed from uninitialized to green - Ready","prevState":"uninitialized","prevMsg":"uninitialized"}

访问 Kibana

推荐使用kube-apiserver方式访问（可以使用证书和rbac等方式进行认证授权），获取访问 URL

  • 使用证书登录(生成kubecfg.p12，并将证书下载到本地安装)：
grep 'client-certificate-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d > kubecfg.crt
grep 'client-key-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d > kubecfg.key
openssl pkcs12 -export -clcerts -inkey kubecfg.key -in kubecfg.crt -out kubecfg.p12 -name "kubernetes-client"

$ kubectl cluster-info | grep Kibana
Kibana is running at https://192.168.1.10:8443/api/v1/namespaces/kube-system/services/kibana-logging/proxy

浏览器访问 URL：https://192.168.1.10:8443/api/v1/namespaces/kube-system/services/kibana-logging/proxy，然后使用basic-auth或者证书 的方式认证后即可，关于认证可以参考dashboard文档

首次登录需要在Management - Index Patterns 创建 index pattern，可以使用默认的 logstash-* pattern，点击下一步；在 Time Filter field name 下拉框选择 @timestamp; 点击创建Index Pattern后，稍等几分钟就可以在 Discover 菜单看到 ElasticSearch logging 中汇聚的日志；

第二部分：日志持久化之静态PV

日志数据是存放于 Elasticsearch POD中，但是默认情况下它使用的是emptyDir存储类型，所以当 POD被删除或重新调度时，日志数据也就丢失了。以下讲解使用NFS 服务器手动（静态）创建PV 持久化保存日志数据的例子。

配置 NFS

  • 准备一个nfs服务器，如果没有可以参考nfs-server创建。
  • 配置nfs服务器的共享目录，即修改/etc/exports（根据实际网段替换192.168.1.*），修改后重启systemctl restart nfs-server。
/share          192.168.1.*(rw,sync,insecure,no_subtree_check,no_root_squash)
/share/es0      192.168.1.*(rw,sync,insecure,no_subtree_check,no_root_squash)
/share/es1      192.168.1.*(rw,sync,insecure,no_subtree_check,no_root_squash)
/share/es2      192.168.1.*(rw,sync,insecure,no_subtree_check,no_root_squash)

使用静态 PV安装 EFK

  • 请按实际日志容量需求修改 es-static-pv/es-statefulset.yaml 文件中 volumeClaimTemplates 设置的 storage: 4Gi 大小
  • 请根据实际nfs服务器地址、共享目录、容量大小修改 es-static-pv/es-pv*.yaml 文件中对应的设置
# 如果之前已经安装了默认的EFK，请用以下两个命令先删除它
$ kubectl delete -f /etc/kubeasz/manifests/efk/
$ kubectl delete -f /etc/kubeasz/manifests/efk/es-without-pv/

# 安装静态PV 的 EFK
$ kubectl apply -f /etc/kubeasz/manifests/efk/
$ kubectl apply -f /etc/kubeasz/manifests/efk/es-static-pv/
  • 目录es-static-pv 下首先是利用 NFS服务预定义了三个 PV资源，然后在 es-statefulset.yaml定义中使用 volumeClaimTemplates 去匹配使用预定义的 PV资源；注意 PV参数：accessModes storageClassName storage容量大小必须两边匹配。

验证安装

  • 1.集群中查看 pod pv pvc 等资源
$ kubectl get pods -n kube-system|grep -E 'elasticsearch|fluentd|kibana'
elasticsearch-logging-0                    1/1       Running   0          10m
elasticsearch-logging-1                    1/1       Running   0          10m
fluentd-es-v2.0.2-6c95c                    1/1       Running   0          10m
fluentd-es-v2.0.2-f2xh8                    1/1       Running   0          10m
fluentd-es-v2.0.2-pv5q5                    1/1       Running   0          10m
kibana-logging-d5cffd7c6-9lz2p             1/1       Running   0          10m

$ kubectl get pv
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                                                       STORAGECLASS       REASON    AGE
pv-es-0   4Gi        RWX            Recycle          Bound       kube-system/elasticsearch-logging-elasticsearch-logging-0   es-storage-class             1m
pv-es-1   4Gi        RWX            Recycle          Bound       kube-system/elasticsearch-logging-elasticsearch-logging-1   es-storage-class             1m
pv-es-2   4Gi        RWX            Recycle          Available                                                               es-storage-class             1m

$ kubectl get pvc --all-namespaces
NAMESPACE     NAME                                            STATUS    VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS       AGE
kube-system   elasticsearch-logging-elasticsearch-logging-0   Bound     pv-es-0   4Gi        RWX            es-storage-class   2m
kube-system   elasticsearch-logging-elasticsearch-logging-1   Bound     pv-es-1   4Gi        RWX            es-storage-class   1m

  • 2.网页访问 kibana查看具体的日志，如上须等待（约15分钟） kibana Pod优化和 Cache 状态页面，达到 Ready 状态。

  • 3.登录 NFS Server 查看对应目录和内部数据

$ ls /share
es0  es1  es2

第三部分：日志持久化之动态PV

PV 作为集群的存储资源，StatefulSet 依靠它实现 POD的状态数据持久化，但是当 StatefulSet动态伸缩时，它的 PVC请求也会变化，如果每次都需要管理员手动去创建对应的 PV资源，那就很不方便；因此 K8S还提供了 provisioner来动态创建 PV，不仅节省了管理员的时间，还可以根据不同的 StorageClasses封装不同类型的存储供 PVC 选用。

  • 此功能需要 API-SERVER 参数 --admission-control字符串设置中包含 DefaultStorageClass，本项目中已经开启。
  • provisioner指定 Volume 插件的类型，包括内置插件（如 kubernetes.io/glusterfs）和外部插件（如 external-storage 提供的 ceph.com/cephfs，nfs-client等），以下讲解使用 nfs-client-provisioner来动态创建 PV来持久化保存 EFK的日志数据。

配置 NFS（同上）

确保 /etc/exports 配置如下共享目录，并确保 /share目录可读可写权限，否则可能因为权限问题无法动态生成 PV的对应目录。（根据实际情况替换IP段192.168.1.*）

/share          192.168.1.*(rw,sync,insecure,no_subtree_check,no_root_squash)

使用动态 PV安装 EFK

  • 首先根据集群存储创建nfs-client-provisioner
  • 然后按实际需求修改 es-dynamic-pv/es-statefulset.yaml 文件中 volumeClaimTemplates 设置的 storage: 4Gi 大小
# 如果之前已经安装了默认的EFK或者静态PV EFK，请用以下命令先删除它
$ kubectl delete -f /etc/kubeasz/manifests/efk/
$ kubectl delete -f /etc/kubeasz/manifests/efk/es-without-pv/
$ kubectl delete -f /etc/kubeasz/manifests/efk/es-static-pv/

# 安装动态PV 的 EFK
$ kubectl apply -f /etc/kubeasz/manifests/efk/
$ kubectl apply -f /etc/kubeasz/manifests/efk/es-dynamic-pv/
  • 首先 nfs-client-provisioner.yaml 创建一个工作 POD，它监听集群的 PVC请求，并当 PVC请求来到时调用 nfs-client 去请求 nfs-server的存储资源，成功后即动态生成对应的 PV资源。
  • nfs-dynamic-storageclass.yaml 定义 NFS存储类型的类型名 nfs-dynamic-class，然后在 es-statefulset.yaml中必须使用这个类型名才能动态请求到资源。

验证安装

  • 1.集群中查看 pod pv pvc 等资源
$ kubectl get pods -n kube-system|grep -E 'elasticsearch|fluentd|kibana'
elasticsearch-logging-0                    1/1       Running   0          10m
elasticsearch-logging-1                    1/1       Running   0          10m
fluentd-es-v2.0.2-6c95c                    1/1       Running   0          10m
fluentd-es-v2.0.2-f2xh8                    1/1       Running   0          10m
fluentd-es-v2.0.2-pv5q5                    1/1       Running   0          10m
kibana-logging-d5cffd7c6-9lz2p             1/1       Running   0          10m

$ kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS    CLAIM                                                       STORAGECLASS        REASON    AGE
pvc-50644f36-358b-11e8-9edd-525400cecc16   4Gi        RWX            Delete           Bound     kube-system/elasticsearch-logging-elasticsearch-logging-0   nfs-dynamic-class             10m
pvc-5b105ee6-358b-11e8-9edd-525400cecc16   4Gi        RWX            Delete           Bound     kube-system/elasticsearch-logging-elasticsearch-logging-1   nfs-dynamic-class             10m

$ kubectl get pvc --all-namespaces
NAMESPACE     NAME                                            STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
kube-system   elasticsearch-logging-elasticsearch-logging-0   Bound     pvc-50644f36-358b-11e8-9edd-525400cecc16   4Gi        RWX            nfs-dynamic-class   10m
kube-system   elasticsearch-logging-elasticsearch-logging-1   Bound     pvc-5b105ee6-358b-11e8-9edd-525400cecc16   4Gi        RWX            nfs-dynamic-class   10m

  • 2.网页访问 kibana查看具体的日志，如上须等待（约15分钟） kibana Pod优化和 Cache 状态页面，达到 Ready 状态。

  • 3.登录 NFS Server 查看对应目录和内部数据

$ ls /share # 可以看到类似如下的目录生成
kube-system-elasticsearch-logging-elasticsearch-logging-0-pvc-50644f36-358b-11e8-9edd-525400cecc16
kube-system-elasticsearch-logging-elasticsearch-logging-1-pvc-5b105ee6-358b-11e8-9edd-525400cecc16

第四部分：日志自动清理

我们知道日志都存储在elastic集群中，且日志每天被分割成一个index，例如：

/ # curl elasticsearch-logging:9200/_cat/indices?v
health status index               uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   logstash-2019.04.29 ejMBlRcJQvqK76xIerenYg   5   1      69864            0     65.9mb         32.9mb
green  open   logstash-2019.04.28 hacNCuQVTQCUL62Sl8avOA   5   1      17558            0     21.3mb         10.6mb
green  open   .kibana_1           MVjF8lQeRDeKfoZcDhA93A   1   1          2            0     30.1kb           15kb
green  open   logstash-2019.05.05 m2aD8X9RQ3u48DvVq18x_Q   5   1      31218            0     34.4mb         17.2mb
green  open   logstash-2019.05.01 66OjwM5wT--DZaVfzUdXYQ   5   1      50610            0     54.6mb         27.1mb
green  open   logstash-2019.04.30 L3AH165jT6izjHHa5L5g0w   5   1      56401            0     55.5mb         27.8mb
...

因此 EFK 中的日志自动清理，只要定时去删除 es 中的 index 即可，如下命令

$ curl -X DELETE elasticsearch-logging:9200/logstash-xxxx.xx.xx

基于 alpine:3.8 创建镜像es-index-rotator 查看Dockerfile，然后创建一个cronjob去完成清理任务

$ kubectl apply -f /etc/kubeasz/manifests/efk/es-index-rotator/

验证日志清理

  • 查看 cronjob
$ kubectl get cronjob -n kube-system 
NAME               SCHEDULE      SUSPEND   ACTIVE   LAST SCHEDULE   AGE
es-index-rotator   3 1 */1 * *   False     0        19h             20h
  • 查看日志清理情况
$ kubectl get pod -n kube-system |grep es-index-rotator
es-index-rotator-1557507780-7xb89             0/1     Completed   0          19h

# 查看日志，可以了解日志清理情况
$ kubectl logs -n kube-system es-index-rotator-1557507780-7xb89 es-index-rotator

HAVE FUN!

参考

  1. EFK 配置
  2. nfs-client-provisioner
  3. persistent-volume
  4. storage-classes