k8s如何加载ipvs模块

K8s可以通过以下几种方式加载IPVS模块：使用kube-proxy配置、使用modprobe手动加载、配置系统启动脚本。这些方法各有优缺点，其中最常用的是通过kube-proxy进行配置。 kube-proxy是Kubernetes中的关键组件，用于管理集群中POD的网络规则。在Kubernetes 1.11版本之后，kube-proxy开始支持IPVS模式，这种模式比传统的iptables模式性能更高且更稳定。为了启用IPVS模式，需要在kube-proxy配置文件中进行相应的设置，这样kube-proxy就会自动加载所需的IPVS内核模块，并配置相应的网络规则。

一、K8S与IPVS概述

Kubernetes（K8s）是一个开源的容器编排平台，广泛应用于管理和部署容器化应用。IPVS（IP Virtual Server）是Linux内核提供的一种负载均衡技术，具有高性能和高可用性的特点。与传统的iptables相比，IPVS在大规模集群环境中提供了更高效的网络流量管理。因此，K8s结合IPVS能够显著提高集群的网络性能。

K8s中的网络流量管理是通过kube-proxy组件实现的。kube-proxy有三种工作模式：userspace模式、iptables模式和IPVS模式。其中，IPVS模式是性能最优的选择。IPVS模式能够处理大量连接请求，降低网络延迟，并且对CPU和内存的消耗较低。

二、使用KUBE-PROXY配置加载IPVS模块

使用kube-proxy配置加载IPVS模块是最常用的方法。以下是具体的步骤：

安装IPVS相关工具：在所有K8s节点上安装ipvsadm和ipset工具。这些工具用于管理和查看IPVS的配置信息。
```
sudo apt-get install -y ipvsadm ipset
```
配置kube-proxy：在kube-proxy配置文件中启用IPVS模式。可以通过以下命令生成默认的kube-proxy配置文件：
```
kubectl -n kube-system get configmap kube-proxy -o yaml > kube-proxy-config.yaml
```
然后在生成的配置文件中找到mode字段，并将其值设置为ipvs：
```
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
featureGates:
  SupportIPVSProxyMode: true
mode: "ipvs"
```
保存修改后的配置文件，并将其应用到集群中：
```
kubectl apply -f kube-proxy-config.yaml
```
重启kube-proxy：为了使配置生效，需要重启kube-proxy组件。可以通过以下命令重启kube-proxy：
```
kubectl -n kube-system rollout restart daemonset kube-proxy
```
验证IPVS模块是否加载：在所有K8s节点上运行以下命令，确保IPVS内核模块已正确加载：
```
lsmod | grep ip_vs
```

三、使用MODPROBE手动加载IPVS模块

在某些情况下，可能需要手动加载IPVS模块。以下是具体步骤：

手动加载IPVS模块：在所有K8s节点上运行以下命令，加载IPVS相关模块：

sudo modprobe ip_vs sudo modprobe ip_vs_rr sudo modprobe ip_vs_wrr sudo modprobe ip_vs_sh sudo modprobe nf_conntrack_ipv4

确认模块加载成功：运行以下命令，确保IPVS内核模块已正确加载：
```
lsmod | grep ip_vs
```
配置模块自动加载：为了确保节点重启后IPVS模块自动加载，可以将模块名称添加到/etc/modules文件中：
```
echo -e "ip_vs\nip_vs_rr\nip_vs_wrr\nip_vs_sh\nnf_conntrack_ipv4" | sudo tee -a /etc/modules
```

四、配置系统启动脚本加载IPVS模块

通过配置系统启动脚本也可以实现IPVS模块的自动加载。以下是具体步骤：

创建启动脚本：在所有K8s节点上创建一个启动脚本，例如/etc/init.d/load-ipvs-modules.sh，并添加以下内容：
```
#!/bin/sh
modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4
```
赋予执行权限：给启动脚本赋予可执行权限：
```
sudo chmod +x /etc/init.d/load-ipvs-modules.sh
```
配置脚本自动运行：将脚本配置为系统启动时自动运行：
```
sudo update-rc.d load-ipvs-modules.sh defaults
```

五、IPVS模式的优势与注意事项

使用IPVS模式有以下几个优势：

高性能：IPVS模式能够处理大量连接请求，极大地提高了网络流量管理的性能。
低延迟：与iptables模式相比，IPVS模式的网络延迟更低，特别是在大规模集群环境中。
资源消耗低：IPVS模式对CPU和内存的消耗较低，有助于提高集群的整体资源利用率。

需要注意的事项包括：

兼容性：确保所有K8s节点的内核版本支持IPVS模块。
监控和调试：使用ipvsadm工具可以方便地监控和调试IPVS的配置信息。
配置一致性：确保所有K8s节点的IPVS配置一致，以避免网络流量管理不一致的问题。

六、常见问题与解决方法

IPVS模块未加载：如果在运行lsmod | grep ip_vs命令后没有看到任何输出，说明IPVS模块未正确加载。可以检查内核版本是否支持IPVS，或者手动重新加载模块。
kube-proxy未启用IPVS模式：检查kube-proxy的配置文件，确保mode字段已设置为ipvs，并且已正确应用到集群中。
网络流量异常：使用ipvsadm工具检查IPVS的配置信息，确保配置正确无误。如果发现配置问题，可以手动调整或重新应用kube-proxy配置文件。

七、总结与展望

通过K8s加载IPVS模块可以显著提升集群的网络性能，特别是在大规模集群环境中。使用kube-proxy配置加载IPVS模块是最常用的方法，简单且高效。同时，手动加载和配置系统启动脚本也是可选的方案。IPVS模式具有高性能、低延迟和资源消耗低的优势，但在实施过程中需要注意兼容性和配置一致性等问题。未来，随着K8s和IPVS的不断发展和完善，网络流量管理的性能和稳定性将进一步提升。