Pod 安全组将腾讯云 CVM 安全组与 Kubernetes Pod 集成。您可以使用腾讯云 CVM 安全组来定义规则,以允许进出您部署在多种 TKE 节点类型(目前只支持超级节点,后续会支持普通节点等)上运行的 Pod 的入站和出站网络流量。
在为 Pod 使用安全组之前,请考虑以下限制条件:
要对 Pod 使用安全组,您必须将 SecurityGroupPolicy 部署到您的集群。以下步骤向您展示了如何使用 CloudShell 为 Pod 使用安全组策略。除非另有说明,否则请从同一终端完成所有步骤,因为在以下步骤中使用的变量不会跨终端持续存在。
创建一个安全组以与您的 Pod 一起使用。以下步骤可帮助您创建一个简单的安全组,仅用于说明目的。在生产集群中,您的规则可能会有所不同。
a. 检索集群的 VPC 和集群安全组的 ID。您在使用时可替换my-cluster
。
my_cluster_name=my-cluster
my_cluster_vpc_id=$(tccli tke DescribeClusters --cli-unfold-argument --ClusterIds $my_cluster_name --filter Clusters[0].ClusterNetworkSettings.VpcId | sed 's/\"//g')
my_cluster_security_group_id=$(tccli vpc DescribeSecurityGroups --cli-unfold-argument --Filters.0.Name security-group-name --Filters.0.Values tke-worker-security-for-$my_cluster_name --filter SecurityGroupSet[0].SecurityGroupId | sed 's/\"//g')
b. 为您的 Pod 创建安全组。您在使用时可替换my-pod-security-group
。记下运行命令后输出中返回的安全组 ID,您将在后面的步骤中使用它。
my_pod_security_group_name=my-pod-security-group
tccli vpc CreateSecurityGroup --GroupName "my-pod-security-group" --GroupDescription "My pod security group"
my_pod_security_group_id=$(tccli vpc DescribeSecurityGroups --cli-unfold-argument --Filters.0.Name security-group-name --Filters.0.Values my-pod-security-group --filter SecurityGroupSet[0].SecurityGroupId | sed 's/\"//g')
echo $my_pod_security_group_id
c. 允许您上一步中创建的 Pod 安全组到集群安全组的 TCP 和 UDP 端口53流量,以允许部署示例中 Pod 可以通过域名访问应用程序。
tccli vpc CreateSecurityGroupPolicies --cli-unfold-argument --SecurityGroupId $my_cluster_security_group_id --SecurityGroupPolicySet.Ingress.0.Protocol UDP --SecurityGroupPolicySet.Ingress.0.Port 53 --SecurityGroupPolicySet.Ingress.0.SecurityGroupId $my_pod_security_group_id --SecurityGroupPolicySet.Ingress.0.Action ACCEPT
tccli vpc CreateSecurityGroupPolicies --cli-unfold-argument --SecurityGroupId $my_cluster_security_group_id --SecurityGroupPolicySet.Ingress.0.Protocol TCP --SecurityGroupPolicySet.Ingress.0.Port 53 --SecurityGroupPolicySet.Ingress.0.SecurityGroupId $my_pod_security_group_id --SecurityGroupPolicySet.Ingress.0.Action ACCEPT
d. 需要允许任何协议和端口从安全组关联的 Pod 到任意安全组关联的 Pod 的入站流量。并且允许安全组关联的 Pod 的任何协议和端口的出站流量。
tccli vpc CreateSecurityGroupPolicies --cli-unfold-argument --SecurityGroupId $my_pod_security_group_id --SecurityGroupPolicySet.Ingress.0.Protocol ALL --SecurityGroupPolicySet.Ingress.0.Port ALL --SecurityGroupPolicySet.Ingress.0.SecurityGroupId $my_pod_security_group_id --SecurityGroupPolicySet.Ingress.0.Action ACCEPT
tccli vpc CreateSecurityGroupPolicies --cli-unfold-argument --SecurityGroupId $my_pod_security_group_id --SecurityGroupPolicySet.Egress.0.Protocol ALL --SecurityGroupPolicySet.Egress.0.Port ALL --SecurityGroupPolicySet.Egress.0.Action ACCEPT
kubectl create namespace my-namespace
3. 将 SecurityGroupPolicy 部署到您的集群。
a. 将以下示例安全策略保存为my-security-group-policy.yaml
。如果您更愿意根据服务帐户标签选择 Pod,则可以替换 podSelector 为 serviceAccountSelector,您必须指定一个或另一个选择器。如果指定多个安全组,则所有安全组中的所有规则都会对选定的 Pod 有效。将$my_pod_security_group_id
替换为您在上一步中为 Pod 创建安全组时记下的安全组 ID 。
apiVersion: vpcresources.tke.cloud.tencent.com/v1beta1
kind: SecurityGroupPolicy
metadata:
name: my-security-group-policy
namespace: my-namespace
spec:
podSelector:
matchLabels:
app: my-app
securityGroups:
groupIds:
- $my_pod_security_group_id
b. 部署策略。注意您为 Pod 指定的一个或多个安全组必须满足以下条件:
- 它们必须存在。
- 它们必须允许来自集群安全组(for kubelet)的入站请求,允许给 Pod 配置的健康检查可以工作。
- 您的 CoreDNS pod 的安全组必须允许 Pod 安全组的入站 TCP 和 UDP 端口53流量。
- 它们必须具有必要的入站和出站规则才能与其他 Pod 进行通信。
安全组策略仅适用于新调度的 Pod。它们不会影响正在运行的 Pod。如需存量 Pod 生效,则需要您确认存量 Pod 满足上述条件后手动重建。
kubectl apply -f my-security-group-policy.yaml
部署示例应用程序使用您在上一步中 podSelector 指定的 my-app 匹配标签。
a. 将以下内容保存到名为sample-application.yaml
。
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-deployment
namespace: my-namespace
labels:
app: my-app
spec:
replicas: 2
selector:
matchLabels:
app: my-app
template:
metadata:
labels:
app: my-app
spec:
terminationGracePeriodSeconds: 120
containers:
- name: nginx
image: nginx:latest
ports:
- containerPort: 80
nodeSelector:
node.kubernetes.io/instance-type: eklet
tolerations:
- effect: NoSchedule
key: eks.tke.cloud.tencent.com/eklet
operator: Exists
---
apiVersion: v1
kind: Service
metadata:
name: my-app
namespace: my-namespace
labels:
app: my-app
spec:
selector:
app: my-app
ports:
- protocol: TCP
port: 80
targetPort: 80
b. 使用以下命令部署应用程序。当您部署应用程序时,Pod 会优先调度到超级节点上,并且将应用您在上一步中指定的安全组到 Pod 上。
kubectl apply -f sample-application.yaml
注意:如果您没有使用 nodeSelector 优先调度到超级节点,当 Pod 调度到其他节点的时候,安全组是不生效的并且
kubectl describe pod
会输出security groups is only support super node, node 10.0.0.1 is not super node
。
查看使用示例应用程序部署的 Pod。截止现在为止此终端称为 TerminalA
。
kubectl get pods -n my-namespace -o wide
示例输出如下:
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-deployment-866ffd8886-9zfrp 1/1 Running 0 85s 10.0.64.10 eklet-subnet-q21rasu6-8bpgyx9r <none> <none>
my-deployment-866ffd8886-b7gzb 1/1 Running 0 85s 10.0.64.3 eklet-subnet-q21rasu6-8bpgyx9r <none> <none>
TerminalB
。替换为上一步输出中返回的 Pod ID。kubectl exec -it -n my-namespace my-deployment-866ffd8886-9zfrp -- /bin/bash
在终端 TerminalB
中确认示例应用程序工作正常。
curl my-app
示例输出如下:
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
...
您收到了响应是因为运行应用程序的所有 Pod 都与您创建的安全组关联。该安全组包含规则有:
my-app
进行域名查找。从 TerminalA
中,从集群安全组中删除允许 DNS 通信的安全组规则。
tccli vpc DeleteSecurityGroupPolicies --cli-unfold-argument --SecurityGroupId $my_cluster_security_group_id --SecurityGroupPolicySet.Ingress.0.Protocol UDP --SecurityGroupPolicySet.Ingress.0.Port 53 --SecurityGroupPolicySet.Ingress.0.SecurityGroupId $my_pod_security_group_id --SecurityGroupPolicySet.Ingress.0.Action ACCEPT
tccli vpc DeleteSecurityGroupPolicies --cli-unfold-argument --SecurityGroupId $my_cluster_security_group_id --SecurityGroupPolicySet.Ingress.0.Protocol TCP --SecurityGroupPolicySet.Ingress.0.Port 53 --SecurityGroupPolicySet.Ingress.0.SecurityGroupId $my_pod_security_group_id --SecurityGroupPolicySet.Ingress.0.Action ACCEPT
从 TerminalB
,尝试再次访问应用程序。
curl my-app
尝试失败,因为 Pod 不能访问 CoreDNS Pod,集群安全组不再允许从与您安全组关联的 Pod 中进行 DNS 通信。
如果您尝试使用 IP 地址访问应用程序,您仍然会收到响应,因为所有端口都允许在具有与其关联的安全组的 pod 之间进行,并且不需要域名查找。
完成试验后,您可以使用以下命令删除创建的示例安全组策略、应用程序和安全组。
kubectl delete namespace my-namespace
tccli vpc DeleteSecurityGroup --cli-unfold-argument --SecurityGroupId $my_pod_security_group_id
本页内容是否解决了您的问题?