k8s如何正常脱离集群

K8s如何正常脱离集群：删除节点、清理节点数据、更新集群状态、确保工作负载重新分配。首先，需要在Kubernetes集群中删除目标节点，这可以通过kubectl drain和kubectl delete node命令来实现。删除节点后，确保清理该节点上的数据和配置文件，以避免影响其他集群或未来的重新加入。然后，更新集群状态以反映最新的节点列表，确保集群的健康状态。最后，确保所有工作负载在其他节点上重新分配和运行，保证服务的连续性。

一、删除节点

在Kubernetes中，删除节点是脱离集群的第一步。使用kubectl drain命令可以安全地将节点从集群中移除。kubectl drain命令会将节点上的所有Pod迁移到其他节点，并确保没有新的Pod被调度到该节点。以下是具体步骤：

标记节点为不可调度：使用kubectl cordon <node-name>命令，将节点标记为不可调度状态。这样可以防止新的Pod被调度到该节点上。
排空节点：使用kubectl drain <node-name>命令，将节点上的所有Pod迁移到其他节点。这个命令会自动处理DaemonSet和LocalStorage等特殊情况。
删除节点：使用kubectl delete node <node-name>命令，从集群中删除节点。

示例命令：

kubectl cordon <node-name>
kubectl drain <node-name> --ignore-daemonsets --delete-local-data
kubectl delete node <node-name>

注意：在执行这些命令前，请确保已经备份重要的数据，并且有充足的容量在其他节点上容纳迁移的Pod。

二、清理节点数据

删除节点后，下一步是清理该节点上的数据和配置文件。清理节点数据可以确保节点在未来重新加入集群时不会出现冲突。以下是具体步骤：

停止Kubelet和Docker服务：在节点上停止Kubelet和Docker服务，以确保没有新的容器被创建。
删除Kubernetes数据目录：删除/var/lib/kubelet、/var/lib/etcd和/var/lib/docker目录下的所有数据。
清理网络配置：清理CNI网络插件的配置和数据，通常位于/etc/cni/net.d和/var/lib/cni目录下。

示例命令：

systemctl stop kubelet systemctl stop docker rm -rf /var/lib/kubelet rm -rf /var/lib/etcd rm -rf /var/lib/docker rm -rf /etc/cni/net.d rm -rf /var/lib/cni

注意：这些操作会永久删除节点上的数据，请谨慎操作。

三、更新集群状态

在删除节点和清理数据后，需要更新集群状态，以确保集群的健康和稳定。更新集群状态包括重新分配工作负载和检查集群的健康状态。具体步骤如下：

检查节点状态：使用kubectl get nodes命令，确保节点已经从集群中删除。
重新分配工作负载：确保所有被迁移的Pod已经在其他节点上运行。使用kubectl get pods -o wide命令，检查Pod的分布情况。
检查集群健康状态：使用kubectl get cs命令，检查集群的各个组件（如etcd、scheduler、controller-manager）的健康状态。

示例命令：

kubectl get nodes kubectl get pods -o wide kubectl get cs

注意：如果发现任何异常情况，及时排查和处理，以确保集群的稳定运行。

四、确保工作负载重新分配

为了保证服务的连续性，确保所有工作负载在其他节点上重新分配和运行是非常重要的。这一过程涉及到自动调度、手动调整和监控。具体步骤如下：

自动调度：Kubernetes的调度器会自动将迁移的Pod调度到其他可用节点。确保有足够的资源和容量支持这些Pod。
手动调整：在某些情况下，可能需要手动调整Pod的分配。使用kubectl describe pod <pod-name>命令，检查Pod的事件日志，了解调度失败的原因，并进行相应的调整。
监控：使用监控工具（如Prometheus、Grafana）监控集群的资源使用情况和工作负载的运行状态。及时发现和处理潜在问题。

示例命令：

kubectl describe pod <pod-name>
kubectl top nodes
kubectl top pods

注意：在重新分配工作负载期间，确保集群有足够的资源和容量，避免过度负载。

五、验证和测试

在完成以上步骤后，需要进行验证和测试，以确保节点正常脱离集群，并且集群的功能和性能没有受到影响。验证和测试的过程包括功能测试、性能测试和故障模拟。具体步骤如下：

功能测试：执行一系列功能测试，确保所有服务和应用程序在集群中正常运行。可以使用自动化测试工具（如Jenkins、Selenium）执行测试。
性能测试：执行性能测试，确保集群的性能没有受到节点脱离的影响。可以使用性能测试工具（如JMeter、Locust）进行测试。
故障模拟：模拟节点故障和网络故障，测试集群的容错能力和恢复能力。可以使用故障注入工具（如Chaos Monkey、LitmusChaos）进行测试。

示例命令：

# Jenkins pipeline for functional testing
pipeline {
    agent any
    stages {
        stage('Functional Test') {
            steps {
                script {
                    sh 'run-functional-tests.sh'
                }
            }
        }
    }
}
JMeter performance test
jmeter -n -t test-plan.jmx -l results.jtl
Chaos Monkey fault injection
chaos-monkey --run

注意：在进行故障模拟测试时，请确保有完善的备份和恢复策略，以防止意外数据丢失。

六、记录和文档

在完成节点脱离集群的所有步骤后，记录和文档是非常重要的。详细记录操作步骤、问题和解决方案，可以为未来类似操作提供参考。具体步骤如下：

记录操作步骤：详细记录节点脱离集群的每一步操作，包括命令、参数和结果。
记录问题和解决方案：记录在操作过程中遇到的问题和相应的解决方案，以便未来参考。
更新文档：将操作步骤和问题解决方案更新到内部文档库（如Confluence、Wiki），确保团队成员可以方便地查阅和参考。

示例文档结构：

# 节点脱离集群操作文档 ## 1. 删除节点 - 命令： - kubectl cordon <node-name> - kubectl drain <node-name> --ignore-daemonsets --delete-local-data - kubectl delete node <node-name> - 结果： - 节点成功删除，Pod成功迁移。 ## 2. 清理节点数据 - 命令： - systemctl stop kubelet - systemctl stop docker - rm -rf /var/lib/kubelet - rm -rf /var/lib/etcd - rm -rf /var/lib/docker - rm -rf /etc/cni/net.d - rm -rf /var/lib/cni - 结果： - 节点数据成功清理。 ## 3. 更新集群状态 - 命令： - kubectl get nodes - kubectl get pods -o wide - kubectl get cs - 结果： - 集群状态更新成功，所有Pod正常运行。 ## 4. 确保工作负载重新分配 - 命令： - kubectl describe pod <pod-name> - kubectl top nodes - kubectl top pods - 结果： - 工作负载成功重新分配，资源使用情况正常。 ## 5. 验证和测试 - 命令： - Jenkins pipeline for functional testing - jmeter -n -t test-plan.jmx -l results.jtl - chaos-monkey --run - 结果： - 功能测试、性能测试和故障模拟测试通过。 ## 6. 记录和文档 - 操作步骤、问题和解决方案已记录并更新到文档库。

注意：定期审查和更新文档，以确保其准确性和实用性。

通过详细的步骤和专业的操作，确保Kubernetes节点能够正常脱离集群，并且集群的功能和性能不受影响。这样不仅可以提高集群的稳定性，还可以为未来的操作提供宝贵的经验和参考。