多 Pod 共享网卡模式

最后更新时间：2024-12-19 21:02:04
使用原理
VPC-CNI 多 Pod 共享网卡模式使用原理图如下所示：
﻿
﻿
集群网络是用户的 VPC，节点和容器子网属于该 VPC。
容器子网可以选择多个 VPC 内的子网。
可设置是否开启固定 IP。您可参考 固定 IP 模式使用说明。
IP 地址管理原理
非固定 IP 模式
﻿
﻿
﻿
TKE 组件在每个节点维护一个可弹性伸缩的 IP 池。已绑定的 IP 数量将被维持在 Pod 数量 + 最小预绑定数量及 Pod 数量 + 最大预绑定数量之间：
当已绑定数量 < Pod 数量 + 最小预绑定数量时，会绑定 IP 使得已绑定数量 = Pod 数量 + 最小预绑定数量。
当已绑定数量 > Pod 数量 + 最大预绑定数量时，会定时释放IP（约2分钟一次），直到已绑定数量 = Pod 数量 + 最大预绑定数量。
当最大可绑定数量 < 当前已绑定数量时，会直接释放多余的空闲 IP，使得已绑定数量 = 最大可绑定数量。
共享网卡的 Pod 创建时，从节点可用 IP 池中随机分配一个可用 IP。
共享网卡的 Pod 销毁时，IP 释放回节点的 IP 池，留给下一个 Pod 使用，不会在 VPC 侧释放（删除）。
IP 和网卡的分配和释放目前基于最少网卡原则，即保证使用的弹性网卡尽量的少：
IP 分配给 Pod：优先分配已分配 IP 数量最多的网卡上的 IP。
IP 释放：优先释放已分配 IP 数量最少的网卡上的 IP。
新网卡绑定：若当前已绑定网卡 IP 配额用尽或网卡所在的子网 IP 用完，则申请新网卡绑定 IP。
网卡释放：若已绑定网卡的辅助 IP 都已解绑，且不再需要新增 IP，则解绑并删除网卡。
节点会注册扩展资源 tke.cloud.tencent.com/eni-ip，资源的可分配数(Allocatable) 为实际的已绑定 IP 资源数，总量(Capacity) 为节点可绑定的 IP 资源上限。因此，当 Pod 调度到某节点失败时，说明节点的 IP 已用尽。
新网卡的子网选择：新网卡优先选择可用 ip 最多的子网。
各节点最大可绑定 IP = 最大绑定网卡数 * 单网卡可绑定 IP 数。
当前最小预绑定数量和最大预绑定数量的默认值为5。
固定 IP 模式
TKE 网络组件维护一个集群维度的可用 IP 池。
集群每新增一个节点，不会提前绑定任何辅助 IP 和弹性网卡，IP 完全按需分配。
新建一个使用 VPC-CNI 模式的 Pod 时，IPAMD 组件会在其所在节点寻找一张可用网卡分配 IP，网卡分配原则基于最少网卡，即优先分配已绑定 IP 数量最多的网卡。
若已绑定网卡都已绑满 IP，则尝试新建绑定网卡再分配 IP，网卡所在子网优先选择可用 IP 最多的子网。
没有设置固定 IP 注解的 Pod 销毁时，IP 地址回归集群的可用 IP 池，并触发网卡解绑 IP，IP 地址将释放回 VPC 子网内。
固定 IP 的 Pod 的 IP 销毁后会在 VPC 内保留，保证下一次创建同名 Pod 的时候仍使用这个 IP。
节点删除时，将释放网卡占用的 IP 资源。
多容器子网的情况下，网卡优先分配到可用 IP 数量最多的子网内，若没有完全满足需求的子网，则节点绑定网卡失败。
多网卡数据面原理
当节点绑定了多张网卡时，Pod 发出的网络包遵循策略路由转发到对应的网卡上：
在节点上执行 ip link 可看到节点所有的网络设备信息，通过弹性网卡的 mac 地址比对，可知道其中弹性网卡对应的网络设备。一般情况下，eth0为主网卡，eth1、eth2等为辅助弹性网卡：
﻿
﻿
﻿
在节点上执行 ip rule 可看到策略路由表的信息，TKE 网络组件通过弹性网卡的 <link index>+2000 得到路由表号，绑定了对应网卡 IP 的 Pod 网络包都将转发到该路由表，如此例中，eth1 对应的路由表即为 2003，eth2 对应的路由表即为 2010：
﻿
﻿
﻿
对应的路由表则设置了到对应网卡的默认路由，节点上执行 ip route show table <id> 可查看：
﻿
﻿
﻿
而欲发送给 Pod 的网络包到达节点时，同样遵循策略路由，直接通过主路由表发送给 Pod 的 Veth 网卡。
使用方法
使用 VPC-CNI 需要确保 rp_filter 处于关闭状态。可参考以下代码示例：
sysctl -w net.ipv4.conf.all.rp_filter=0
# 假设 eth0 为主网卡
sysctl -w net.ipv4.conf.eth0.rp_filter=0
注意：
tke-eni-agent 组件自动设置节点的内核参数。若您自己有维护内核参数且打开 rpfilter，则会导致网络不通。
开启 VPC-CNI
创建集群时开启 VPC-CNI
1. 登录 容器服务控制台 ，单击左侧导航栏中集群。
2. 在集群管理页面，单击集群列表上方的新建。
3. 在创建集群页面，在容器网络插件中选择 VPC-CNI。如下图所示：
﻿
﻿
﻿
说明：
默认情况下，VPC-CNI 模式不支持固定 Pod IP 能力，且该能力仅支持在 创建集群 时设置。如需为集群开启支持固定 Pod IP，请参见 固定 IP 模式使用说明。
为已有集群开启 VPC-CNI
创建集群时选择 Global Router 网络插件，后续在集群基本信息页面开启 VPC-CNI 模式（两种默认混用）。
1. 登录 容器服务控制台 ，单击左侧导航栏中集群。
2. 在集群管理页面，选择集群 ID，进入集群的基本信息页面。
3. 在集群详情页面，选择左侧基本信息。
4. 在集群基本信息页面的集群信息模块，在 VPC-CNI 字段中单击开启。
5. 在弹出窗口中选择是否支持固定 IP，并选择子网。如下图所示：
﻿
﻿
﻿
注意：
针对固定 IP 场景，启用 VPC-CNI 后需要设置 IP 回收策略，即设置 Pod 销毁后需要退还 IP 的时长。
非固定 IP 的 Pod 销毁后可立即释放 IP（非释放回 VPC，释放回容器管理的 IP 池），不受此设置的影响。
6. 单击提交，即可完成为已有集群开启 VPC-CNI。
关闭 VPC-CNI
1. 登录 容器服务控制台 ，单击左侧导航栏中集群。
2. 在集群管理页面，选择需开启 VPC-CNI 的集群 ID，进入集群详情页。
3. 在集群详情页面，选择左侧基本信息。
4. 在集群基本信息页面的集群信息模块，在 VPC-CNI 字段中单击关闭。
5. 在弹出窗口中选择提交，即可关闭 VPC-CNI。
tencent cloud

Recent Pages

多 Pod 共享网卡模式

使用原理

IP 地址管理原理

非固定 IP 模式

固定 IP 模式

多网卡数据面原理

使用方法

开启 VPC-CNI

创建集群时开启 VPC-CNI

为已有集群开启 VPC-CNI

关闭 VPC-CNI

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？
