在 TKE 中获取客户端真实源 IP

Recent Pages

在 TKE 中获取客户端真实源 IP

最后更新时间：2024-12-13 19:41:34

说明：
本文适用于腾讯云容器服务（Tencent Kubernetes Engine ，TKE），以下简称 TKE。
应用场景
当需明确服务请求来源以满足业务需求时，则需后端服务能够准确获取请求客户端的真实源 IP。例如以下场景：
具有对服务请求的来源进行审计的需求，例如异地登录告警。
具有针对安全攻击或安全事件溯源的需求，例如 APT 攻击及 DDoS 攻击等。
业务场景具有数据分析的需求，例如业务请求区域统计。
其他需获取客户端地址的需求。
实现方法
在 TKE 中默认的外部负载均衡器为 腾讯云负载均衡 作为服务流量的访问首入口，腾讯云负载均衡器会将请求流量负载转发到 Kubernetes 工作节点的 Kubernetes Service（默认）。此负载均衡过程会保留客户端真实源 IP（透传转发），但在 Kubernetes Service 转发场景下，无论使用 iptbales 或 ipvs 的负载均衡转发模式，转发时都会对数据包做 SNAT，即不会保留客户端真实源 IP。在 TKE 使用场景下，本文提供以下4种方式获取客户端真实源 IP，请参考本文按需选择适用方式。
通过 Service 资源的配置选项保留客户端源 IP
该方式优缺点分析如下：
优点：只需修改 Kubernetes Service 资源配置即可。
缺点：会存在潜在的 Pods（Endpoints）流量负载不均衡风险。
如需启用保留客户端 IP 功能，可在 Service 资源中配置字段 Service.spec.externalTrafficPolicy。该字段表示服务是否希望将外部流量路由到节点本地或集群范围的 Pods。有两个选项值：Cluster（默认）和  Local 方式。如下图所示：
﻿
﻿
Cluster：表示隐藏客户端源 IP，LoadBalancer 和 NodePort 类型服务流量可能会被转发到其他节点的 Pods。
Local：表示保留客户端源 IP 并避免 LoadBalancer 和 NodePort 类型的服务流量转发到其他节点的 Pods，详情请参考 Kubernetes 设置外部负载均衡器说明。相关 YAML 配置示例如下：
apiVersion: v1
kind: Service
metadata:
  name: example-Service
spec:
  selector:
    app: example-Service
  ports:
  - port: 8765
    targetPort: 9376
  externalTrafficPolicy: Local
  type: LoadBalancer
通过 TKE 原生 CLB 直通 Pod 转发模式获取
该方式优缺点分析如下：
优点：为 TKE 原生支持的功能特性，只需在控制台参考对应文档配置即可。
缺点：集群需开启 VPC-CNI 网络模式。
使用 TKE 原生支持的 CLB 直通 Pod 的转发功能（CLB 透传转发，并绕过 Kubernetes Service 流量转发），后端 Pods 收到的请求的源 IP 即为客户端真实源 IP，此方式适用于四层及七层服务的转发场景。转发原理如下图：
﻿

详细介绍和配置请参见 在 TKE 上使用负载均衡直通 Pod。
通过 HTTP Header 获取
该方式优缺点分析如下：
优点：在七层（HTTP/HTTPS）流量转发场景下推荐选择该方式，可通过 Web 服务代理的配置或后端应用代码直接获取 HTTP Header 中的字段，即可拿到客户端真实源 IP，非常简单高效。
缺点：仅适用于七层（HTTP/HTTPS）流量转发场景，不适用于四层转发场景。
在七层（HTTP/HTTPS）服务转发场景下，可以通过获取 HTTP Header 中 X-Forwarded-For 和 X-Real-IP  字段的值来获取客户端真实源 IP。TKE 中有两种场景使用方式，原理介绍图如下所示：
﻿
﻿
场景一：使用 TKE Ingress 获取真实源 IP
腾讯云负载均衡器（CLB 七层） 默认会将客户端真实源 IP 放至 HTTP Header 的 X-Forwarded-For 和 X-Real-IP  字段。当服务流量在经过 Service 四层转发后会保留上述字段，后端通过 Web 服务器代理配置或应用代码方式获取到客户端真实源 IP，详情请参见 负载均衡如何获取客户端真实 IP。通过容器服务控制台获取源 IP 步骤如下：
1. 为工作负载创建一个主机端口访问方式的 Service 资源，本文以 nginx 为例。如下图所示：
﻿
﻿
2. 为该 Service 创建一个对应的 Ingress 访问入口，本文以 test 为例。如下图所示：
﻿
﻿
3. 待配置生效后，在后端通过获取 HTTP Header 中的 X-Forwarded-For 或 X-Real-IP 字段值得到客户端真实源 IP。后端抓包测试结果示例如下图所示：
﻿
﻿
场景二：使用 Nginx Ingress 获取真实源 IP
Nginx Ingress 服务部署需要 Nginx Ingress 能直接感知客户端真实源 IP，可以采用保留客户端源 IP 的配置方式，详情请参见 Kubernetes 设置外部负载均衡器说明。或通过 CLB 直通 Pod 的方式，详情请参见 在 TKE 上使用负载均衡直通 Pod。当 Nginx Ingress 在转发请求时会通过 X-Forwarded-For 和 X-Real-IP 字段来记录客户端源 IP，后端可以通过此字段获得客户端真实源 IP。配置步骤如下：
1. Nginx Ingress 可以通过 TKE 应用商店、自定义 YAML 配置或使用官方（helm 安装）方式安装，原理和部署方法请参见 在 TKE 上部署 Nginx Ingress  中的部署方案1或方案3。若选择方案1部署，则需要修改 Nginx Ingress Controller Service 的 externalTrafficPolicy 字段值为 Local 。
安装完成后，会在容器服务控制台自动为 Nginx Ingress Controller 服务创建一个 CLB（四层）访问入口，如下图所示：
﻿
﻿
2. 为需转发的后端服务创建一个 Ingress 资源并配置转发规则。YAML 示例如下：
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx  # ingressClass类为"nginx"
  name: example
  namespace: default
spec:
  rules:  # 配置服务转发规则
  - http:
     paths:
       - backend:
           serviceName: nginx  
           servicePort: 80
         path: /
3. 待配置生效后，在后端获取 HTTP Header 中的 X-Forwarded-For 或 X-Real-IP 字段值得到客户端真实源 IP。后端抓包测试结果示例如下图所示：
﻿
﻿
通过 TOA 内核模块加载获取真实源 IP
该方式优缺点分析如下：
优点：对于 TCP 传输方式，在内核层面且仅对 TCP 连接的首包进行改造，几乎没有性能损耗。
缺点：
需要在集群工作节点上加载 TOA 内核模块，且需在服务端通过函数调用获取携带的源 IP 及端口信息，配置使用较复杂。
对于 UDP 传输方式，会对每个数据包改造添加 option 数据（源 IP 和源端口），带来网络传输通道性能损耗。
TOA 内核模块原理和加载方式请参见 获取访问用户真实 IP 文档。
参考资料
腾讯云负载均衡器获取客户端真实 IP 介绍：如何获取客户端真实 IP
腾讯云负载均衡介绍：负载均衡 CLB
在 TKE 上部署 Nginx Ingress
TKE 网络模式介绍：GlobalRouter 附加 VPC-CNI 模式说明
在 TKE 上使用负载均衡直通 Pod
TOA 模块使用介绍：获取访问用户真实 IP
Kubernetes 设置外部负载均衡器说明：创建外部负载均衡器 Kubernetes
﻿