如何用k8s搭建内网环境

在使用Kubernetes（k8s）搭建内网环境时，需要注意的关键点有：配置私有网络、部署集群、设置网络策略、配置负载均衡。其中，配置私有网络是至关重要的，因为它确保了集群内各服务之间的通信安全并且不被外部访问。在配置私有网络时，需要选择合适的CNI（容器网络接口）插件，如Calico或Weave，这些插件提供了灵活的网络策略和良好的性能。接下来，我们将详细介绍如何一步步在内网环境中搭建Kubernetes集群。

一、配置私有网络

在内网环境中，配置私有网络是构建Kubernetes集群的基础。首先，需要选择合适的CNI插件来管理网络。Calico和Weave是两种流行的CNI插件，它们提供了丰富的功能和良好的性能。安装Calico时，可以使用以下命令：

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

安装完成后，可以通过以下命令查看CNI插件是否正常运行：

kubectl get pods -n kube-system

确保所有网络组件都在运行状态。如果选择Weave作为CNI插件，可以使用以下命令进行安装：

kubectl apply -f https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')

配置完CNI插件后，需要配置网络策略（Network Policies）以控制不同服务之间的通信。可以通过以下示例来创建一个网络策略：

apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: allow-nginx namespace: default spec: podSelector: matchLabels: app: nginx policyTypes: - Ingress - Egress ingress: - from: - podSelector: matchLabels: role: frontend egress: - to: - podSelector: matchLabels: role: backend

这个示例策略允许标签为frontend的Pod访问标签为nginx的Pod，并允许nginxPod访问标签为backend的Pod。

二、部署Kubernetes集群

部署Kubernetes集群需要选择合适的工具，例如kubeadm、kops或Rancher。kubeadm是一种常用的工具，因为它易于使用且高度可配置。首先，确保所有节点都安装了Docker和kubeadm。然后，可以使用以下命令初始化Master节点：

sudo kubeadm init --pod-network-cidr=192.168.0.0/16

初始化完成后，需要配置kubectl以便与集群通信：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

接下来，在Worker节点上运行以下命令将其加入集群：

kubeadm join <Master_IP>:<Master_Port> --token <Your_Token> --discovery-token-ca-cert-hash sha256:<hash>

可以通过以下命令查看集群状态：

kubectl get nodes

确保所有节点都处于Ready状态。

三、设置网络策略

网络策略（Network Policies）是确保集群安全的关键。它允许你定义哪种流量可以进入和离开Pod。以下是一个示例策略，允许来自特定命名空间的流量：

apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: allow-from-namespace namespace: default spec: podSelector: {} policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: project: myproject

这个策略允许来自标签为myproject的命名空间的流量进入默认命名空间的所有Pod。网络策略的设计需要根据具体的安全需求进行调整。

四、配置负载均衡

在内网环境中，负载均衡是确保应用高可用性和性能的关键。Kubernetes提供了多种服务类型来实现负载均衡，包括ClusterIP、NodePort和LoadBalancer。在内网环境中，最常用的是ClusterIP和NodePort。以下是一个ClusterIP服务的示例：

apiVersion: v1 kind: Service metadata: name: my-service namespace: default spec: selector: app: myapp ports: - protocol: TCP port: 80 targetPort: 8080 type: ClusterIP

这个服务将流量从集群内的其他Pod转发到标签为myapp的Pod上的8080端口。对于NodePort服务，可以使用以下配置：

apiVersion: v1 kind: Service metadata: name: my-service namespace: default spec: selector: app: myapp ports: - protocol: TCP port: 80 targetPort: 8080 nodePort: 30000 type: NodePort

这个服务将外部流量通过30000端口转发到标签为myapp的Pod上的8080端口。

五、监控与日志

监控和日志管理是确保Kubernetes集群稳定运行的重要环节。Prometheus和Grafana是常用的监控工具组合。可以通过以下命令安装Prometheus：

kubectl apply -f https://raw.githubusercontent.com/coreos/kube-prometheus/master/manifests/setup/prometheus-operator-0prometheusCustomResourceDefinition.yaml kubectl apply -f https://raw.githubusercontent.com/coreos/kube-prometheus/master/manifests/

安装完成后，可以通过以下命令访问Prometheus UI：

kubectl port-forward -n monitoring prometheus-k8s-0 9090

Grafana可以通过以下命令进行安装：

kubectl apply -f https://raw.githubusercontent.com/grafana/grafana/master/deploy/kubernetes/grafana-deployment.yaml

安装完成后，可以通过以下命令访问Grafana UI：

kubectl port-forward -n default svc/grafana 3000:3000

监控指标可以帮助你了解集群的健康状况，并及时发现和解决问题。

六、存储与备份

存储是Kubernetes集群中关键的组件，尤其是在处理有状态应用时。Kubernetes提供了多种存储解决方案，如PersistentVolume（PV）和PersistentVolumeClaim（PVC）。以下是一个PV的示例：

apiVersion: v1 kind: PersistentVolume metadata: name: pv-example spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce hostPath: path: "/mnt/data"

这个PV将集群节点上的/mnt/data目录作为存储。以下是一个PVC的示例：

apiVersion: v1 kind: PersistentVolumeClaim metadata: name: pvc-example spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi

这个PVC将请求10Gi的存储，并可以绑定到之前创建的PV。备份是确保数据安全的重要措施，可以使用Velero等工具来实现Kubernetes集群的备份和恢复：

velero install --provider aws --bucket <your-bucket> --secret-file ./credentials-velero --use-volume-snapshots=false --backup-location-config region=<your-region>

创建备份可以使用以下命令：

velero backup create my-backup --include-namespaces default

恢复备份可以使用以下命令：

velero restore create --from-backup my-backup

七、安全与认证

在内网环境中，安全是至关重要的。Kubernetes提供了多种安全机制，如RBAC（基于角色的访问控制）和Pod安全策略。以下是一个RBAC的示例：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: default
  name: pod-reader
rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["get", "watch", "list"]

这个Role允许读取默认命名空间中的Pod。以下是一个RoleBinding的示例：

apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: read-pods namespace: default subjects: - kind: User name: jane apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: pod-reader apiGroup: rbac.authorization.k8s.io

这个RoleBinding将pod-reader角色绑定到用户jane。Pod安全策略可以通过以下示例进行配置：

apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: restricted spec: privileged: false seLinux: rule: RunAsAny supplementalGroups: rule: RunAsAny runAsUser: rule: MustRunAsNonRoot fsGroup: rule: RunAsAny volumes: - 'configMap' - 'emptyDir' - 'projected' - 'secret' - 'downwardAPI' - 'persistentVolumeClaim'

这个策略限制了Pod的权限，确保其运行在非特权模式下。

八、高可用性设计

高可用性是Kubernetes集群设计的重要目标。可以通过多Master节点架构和Etcd集群来实现高可用性。以下是一个多Master节点的配置示例：

sudo kubeadm init --control-plane-endpoint "LOAD_BALANCER_DNS:LOAD_BALANCER_PORT" --upload-certs

这个命令会生成一个加入命令，使用它可以将其他Master节点加入集群：

kubeadm join LOAD_BALANCER_DNS:LOAD_BALANCER_PORT --token <Your_Token> --discovery-token-ca-cert-hash sha256:<hash> --control-plane --certificate-key <Your_Certificate_Key>

Etcd是Kubernetes集群的关键组件，它的高可用性可以通过以下配置实现：

apiVersion: v1 kind: Pod metadata: name: etcd namespace: kube-system spec: containers: - name: etcd image: quay.io/coreos/etcd:v3.3.10 command: - /usr/local/bin/etcd - --data-dir=/var/lib/etcd - --name=etcd0 - --initial-advertise-peer-urls=http://etcd0:2380 - --listen-peer-urls=http://0.0.0.0:2380 - --listen-client-urls=http://0.0.0.0:2379 - --advertise-client-urls=http://etcd0:2379 - --initial-cluster-token=etcd-cluster-1 - --initial-cluster=etcd0=http://etcd0:2380,etcd1=http://etcd1:2380,etcd2=http://etcd2:2380 - --initial-cluster-state=new volumeMounts: - mountPath: /var/lib/etcd name: etcd-data volumes: - name: etcd-data hostPath: path: /var/lib/etcd

这个配置文件定义了一个Etcd集群，确保其高可用性。

九、自动化与CI/CD

自动化和CI/CD是提升开发效率和部署速度的关键。Jenkins和GitLab CI是两种常见的CI/CD工具。以下是一个Jenkins的部署示例：

kubectl create namespace jenkins
kubectl apply -f https://raw.githubusercontent.com/jenkinsci/kubernetes-plugin/master/src/main/kubernetes/jenkins.yml

可以通过以下命令访问Jenkins UI：

kubectl port-forward svc/jenkins 8080:8080 -n jenkins

GitLab CI可以通过以下命令进行部署：

kubectl create namespace gitlab
kubectl apply -f https://gitlab.com/gitlab-org/charts/gitlab/raw/master/examples/kubernetes/gitlab/gitlab.yaml

可以通过以下命令访问GitLab UI：

kubectl port-forward svc/gitlab 80:80 -n gitlab

CI/CD管道可以通过以下示例配置：

stages: - build - test - deploy build: stage: build script: - echo "Building the project..." test: stage: test script: - echo "Running tests..." deploy: stage: deploy script: - echo "Deploying the project..."

这个配置文件定义了一个简单的CI/CD管道，包括构建、测试和部署阶段。

十、故障排除与优化

故障排除和优化是Kubernetes集群运维的重要部分。常见的故障包括节点不可达、Pod调度失败和网络问题。以下是一些常用的故障排除命令：

查看节点状态：

kubectl get nodes

查看Pod日志：

kubectl logs <pod_name>

查看事件：

kubectl get events

优化Kubernetes集群性能，可以通过以下措施：优化资源请求和限制，使用高效的CNI插件，定期清理未使用的资源。以下是一个资源请求和限制的示例：

apiVersion: v1 kind: Pod metadata: name: resource-demo spec: containers: - name: container image: nginx resources: requests: memory: "64Mi" cpu: "250m" limits: memory: "128Mi" cpu: "500m"

这个配置文件定义了一个Pod，其容器的资源请求和限制。