k8s如何定时清理日志

在K8s中定时清理日志可以通过以下几种方法：使用CronJobs、配置日志轮转（Log Rotation）、使用外部工具（如Fluentd）。CronJobs可以设置定时任务，自动执行日志清理脚本，非常灵活。配置日志轮转可以通过调整K8s日志收集组件（如kubelet）的配置来实现。外部工具如Fluentd能够将日志集中到一个地方并设置清理策略。CronJobs的优势在于，K8s内置支持，配置简单，可以直接在集群内运行。

一、使用CronJobs清理日志

CronJobs 是K8s中一种内置的资源类型，可以用来定时执行任务。通过创建一个CronJob资源，可以定期执行日志清理脚本。下面是如何配置和使用CronJob来清理日志的详细步骤。

1. 创建清理脚本

首先，需要编写一个清理日志的脚本，例如clean_logs.sh。这个脚本可以包括删除旧日志文件的命令，如：

#!/bin/bash
find /var/log/containers/*.log -mtime +7 -exec rm {} \;

这个命令会删除 /var/log/containers 目录下所有修改时间超过7天的日志文件。

2. 创建CronJob配置文件

接下来，需要创建一个CronJob配置文件，例如 clean-logs-cronjob.yaml。这个文件定义了定时任务的调度规则和执行清理脚本的容器：

apiVersion: batch/v1beta1 kind: CronJob metadata: name: clean-logs spec: schedule: "0 0 * * *" # 每天午夜执行 jobTemplate: spec: template: spec: containers: - name: clean-logs image: alpine:3.8 command: ["/bin/sh", "-c", "/scripts/clean_logs.sh"] volumeMounts: - name: scripts mountPath: /scripts restartPolicy: OnFailure volumes: - name: scripts configMap: name: clean-logs-scripts --- apiVersion: v1 kind: ConfigMap metadata: name: clean-logs-scripts data: clean_logs.sh: | #!/bin/bash find /var/log/containers/*.log -mtime +7 -exec rm {} \;

这个配置文件定义了一个每天午夜执行的CronJob，使用alpine镜像来运行清理脚本，并使用ConfigMap来存储清理脚本。

3. 部署CronJob

最后，通过kubectl命令将CronJob部署到K8s集群中：

kubectl apply -f clean-logs-cronjob.yaml

二、配置日志轮转（Log Rotation）

日志轮转 是另一种常见的日志管理策略，可以通过调整K8s日志收集组件（如kubelet）的配置来实现。日志轮转可以自动将旧日志文件归档并生成新的日志文件，从而防止日志文件无限制增长。

1. 修改kubelet配置

首先，可以通过修改kubelet的配置文件来配置日志轮转。例如，在kubelet的启动参数中添加以下参数：

--logtostderr=false
--log-dir=/var/log/kubelet
--log-file-max-size=50
--log-file-max-size-unit=megabytes
--log-file-max-age=7
--log-file-max-backups=5

这些参数将kubelet的日志文件大小限制为50MB，最多保留7天，最多进行5次备份。

2. 配置日志轮转工具

除了修改kubelet配置，还可以使用工具如logrotate来管理日志轮转。首先，需要在K8s节点上安装logrotate，并创建一个配置文件，例如 /etc/logrotate.d/kubelet：

/var/log/kubelet/*.log { daily rotate 7 compress missingok notifempty create 0640 root adm sharedscripts postrotate /bin/kill -HUP `cat /var/run/kubelet.pid 2>/dev/null` 2>/dev/null || true endscript }

这个配置文件定义了每天进行一次日志轮转，最多保留7天，并压缩旧日志文件。

3. 重启kubelet

最后，重启kubelet以应用新的配置：

systemctl restart kubelet

三、使用外部工具（如Fluentd）

外部工具如Fluentd 能够将日志集中到一个地方并设置清理策略。Fluentd是一种常用的日志收集工具，可以将K8s日志收集、处理并转发到不同的存储后端。

1. 部署Fluentd

首先，需要在K8s集群中部署Fluentd。可以使用Helm Chart来简化部署过程，例如：

helm repo add fluent https://fluent.github.io/helm-charts helm install fluentd fluent/fluentd

2. 配置Fluentd

接下来，配置Fluentd以收集和处理K8s日志。创建一个ConfigMap来定义Fluentd的配置，例如 fluentd-configmap.yaml：

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.pos
      tag kube.*
      format json
    </source>
    <filter >
      @type grep
      <exclude>
        key log
        pattern /health/
      </exclude>
    </filter>
    <match >
      @type stdout
    </match>

这个配置文件定义了Fluentd从 /var/log/containers/*.log 中收集日志，并过滤掉包含 /health/ 的日志。

3. 应用配置

将配置应用到Fluentd中：

kubectl apply -f fluentd-configmap.yaml kubectl rollout restart daemonset fluentd

4. 设置日志清理策略

最后，可以在Fluentd中设置日志清理策略，例如将日志转发到Elasticsearch，并在Elasticsearch中设置索引生命周期管理（ILM）策略，自动删除旧日志。

四、监控和优化

监控和优化 是日志管理的一个重要方面。通过监控日志的生成和清理情况，可以确保日志管理策略的有效性，并进行必要的优化。

1. 使用Prometheus监控

可以使用Prometheus来监控日志生成和清理的情况。首先，部署Prometheus到K8s集群中：

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm install prometheus prometheus-community/prometheus

2. 配置Alertmanager

配置Alertmanager来设置告警规则，例如监控日志目录的磁盘使用情况，并在使用率超过阈值时发送告警：

groups: - name: log-usage rules: - alert: HighLogDiskUsage expr: node_filesystem_avail_bytes{mountpoint="/var/log"} < 1e9 for: 5m labels: severity: warning annotations: summary: "High log disk usage" description: "The /var/log directory is using more than 90% of disk space."

3. 优化日志清理策略

通过监控和告警，可以及时发现日志管理中的问题，并优化日志清理策略。例如，调整CronJob的执行频率，增加日志轮转的备份数量，或优化Fluentd的配置。

4. 定期审查

定期审查日志清理策略和监控告警，确保日志管理策略的有效性和持续改进。可以通过定期检查清理脚本、轮转配置和Fluentd配置，确保它们能够满足实际需求。

五、日志存储和归档

日志存储和归档 是日志管理中的另一个重要方面。通过合理的日志存储和归档策略，可以确保日志数据的安全和可追溯性。

1. 使用持久化存储

在K8s中，可以使用持久化存储（Persistent Volume）来存储日志文件。例如，使用NFS或Ceph作为持久化存储，并将其挂载到日志目录。

2. 配置存储类

配置存储类（StorageClass）来定义不同类型的存储策略，例如高性能存储和低成本存储。可以根据日志的重要性和访问频率，选择合适的存储类。

3. 归档旧日志

定期将旧日志归档到长期存储中，例如S3或Glacier。可以使用工具如logrotate和aws cli来实现日志归档。例如，创建一个归档脚本 archive_logs.sh：

#!/bin/bash
find /var/log/containers/*.log -mtime +30 -exec aws s3 cp {} s3://my-log-bucket/archives/ \; -exec rm {} \;

这个脚本将修改时间超过30天的日志文件上传到S3，并删除本地文件。

4. 自动化归档

通过CronJobs或其他调度工具，定期执行归档脚本。例如，创建一个CronJob配置文件 archive-logs-cronjob.yaml：

apiVersion: batch/v1beta1 kind: CronJob metadata: name: archive-logs spec: schedule: "0 1 * * *" # 每天凌晨1点执行 jobTemplate: spec: template: spec: containers: - name: archive-logs image: amazon/aws-cli command: ["/bin/sh", "-c", "/scripts/archive_logs.sh"] volumeMounts: - name: scripts mountPath: /scripts restartPolicy: OnFailure volumes: - name: scripts configMap: name: archive-logs-scripts --- apiVersion: v1 kind: ConfigMap metadata: name: archive-logs-scripts data: archive_logs.sh: | #!/bin/bash find /var/log/containers/*.log -mtime +30 -exec aws s3 cp {} s3://my-log-bucket/archives/ \; -exec rm {} \;

六、日志分析和可视化

日志分析和可视化 是日志管理的高级应用，通过分析和可视化日志数据，可以获得有价值的洞察和提高运维效率。

1. 部署Elasticsearch和Kibana

可以部署Elasticsearch和Kibana来收集、存储和分析日志数据。首先，使用Helm Chart部署Elasticsearch和Kibana：

helm repo add elastic https://helm.elastic.co helm install elasticsearch elastic/elasticsearch helm install kibana elastic/kibana

2. 配置Fluentd输出到Elasticsearch

配置Fluentd将日志输出到Elasticsearch，例如修改Fluentd配置：

<match >
  @type elasticsearch
  host elasticsearch
  port 9200
  logstash_format true
  logstash_prefix kube-logs
</match>

3. 创建Kibana仪表板

在Kibana中创建仪表板，展示日志数据的可视化视图，例如日志数量、错误率、响应时间等。可以使用Kibana的可视化工具，创建饼图、柱状图、折线图等不同类型的图表。

4. 使用机器学习

利用Elasticsearch中的机器学习功能，自动检测日志中的异常模式。例如，创建一个检测异常的工作任务：

PUT _ml/anomaly_detectors/kube-logs-detector
{
  "description": "K8s logs anomaly detection",
  "analysis_config": {
    "bucket_span": "15m",
    "detectors": [
      {
        "function": "rare",
        "field_name": "log"
      }
    ]
  },
  "data_description": {
    "time_field": "@timestamp"
  }
}

这个任务将每15分钟检测一次日志中的稀有事件，并生成告警。

5. 集成告警系统

将日志分析结果集成到告警系统中，例如Prometheus Alertmanager或PagerDuty。当检测到日志中的异常模式时，自动发送告警通知到运维团队。

七、日志审计和合规

日志审计和合规 是企业级日志管理中的关键环节，通过审计和合规管理，确保日志数据的安全和合规性。

1. 配置审计日志

在K8s中，可以通过配置审计日志来记录API服务器的操作日志。首先，创建一个审计策略文件 audit-policy.yaml：

apiVersion: audit.k8s.io/v1 kind: Policy rules: - level: Metadata resources: - group: "" resources: ["pods", "services"] verbs: ["create", "update", "delete"]

这个策略文件定义了记录Pods和Services的创建、更新和删除操作。

2. 启用审计日志

启用K8s API服务器的审计日志功能，例如在API服务器的启动参数中添加：

--audit-policy-file=/etc/kubernetes/audit-policy.yaml
--audit-log-path=/var/log/kubernetes/audit.log
--audit-log-maxage=30
--audit-log-maxbackup=10
--audit-log-maxsize=100

这些参数将审计日志保存到 /var/log/kubernetes/audit.log，最多保留30天，最多进行10次备份，每个文件最大100MB。

3. 存档审计日志

定期将审计日志归档到安全存储中，例如使用S3或其他云存储服务。可以使用Fluentd或其他日志收集工具，将审计日志转发到集中存储。

4. 访问控制和日志保护

配置访问控制策略，确保只有授权用户才能访问日志数据。例如，使用RBAC（基于角色的访问控制）来限制对日志文件的访问权限。配置日志文件的权限，例如：

chmod 640 /var/log/kubernetes/audit.log chown root:adm /var/log/kubernetes/audit.log

5. 合规管理

确保日志管理策略符合行业标准和法规要求，例如GDPR、HIPAA等。定期审查和更新日志管理策略，确保其持续符合合规要求。可以通过第三方审计和认证，确保日志管理的合规性。

6. 自动化合规检查

使用自动化工具进行合规检查，例如OpenSCAP或其他合规扫描工具。定期扫描K8s集群和日志管理策略，检测潜在的合规风险和漏洞。

通过以上步骤，可以在K8s中实现定时清理日志，并确保日志管理的效率和合规性。通过使用CronJobs、配置日志轮转、使用外部工具（如Fluentd）、监控和优化、日志存储和归档、日志分析和可视化、日志审计和合规等多种方法，可以全面提升日志管理的水平。