操作场景
本文介绍如何针对高并发场景对 Nginx Ingress 进行配置调优。
操作指南
调大 CLB 规格和带宽
高并发场景的流量吞吐需求较高,对 CLB 的转发性能要求也较高,可以在 CLB 控制台 手动创建一个 CLB,实例规格选择性能容量型,按需选择型号,并将带宽上限调高(注意 VPC 要与 TKE 集群一致)。 CLB 创建好后,配置 nginx ingress 以复用这个 CLB 作为流量入口,详情请参见 自定义负载均衡器。 调优内核参数与 Nginx 配置
针对高并发场景调优内核参数和 nginx 自身的配置,values.yaml
配置方法:
controller:
extraInitContainers:
- name: sysctl
image: busybox
imagePullPolicy: IfNotPresent
securityContext:
privileged: true
command:
- sh
- -c
- |
sysctl -w net.core.somaxconn=65535 # 调大链接队列,防止队列溢出
sysctl -w net.ipv4.ip_local_port_range="1024 65535" # 扩大源端口范围,防止端口耗尽
sysctl -w net.ipv4.tcp_tw_reuse=1 # TIME_WAIT 复用,避免端口耗尽后无法新建连接
sysctl -w fs.file-max=1048576 # 调大文件句柄数,防止连接过多导致文件句柄耗尽
config:
keep-alive-requests: "1000"
upstream-keepalive-connections: "2000"
max-worker-connections: "65536"
日志轮转
Nginx Ingress 默认会将日志打印到容器标准输出,日志由容器运行时自动管理,在高并发场景可能会导致 CPU 占用较高。
解决方案是将 Nginx Ingress 的日志输出到日志文件中,并使用 sidecar 对日志文件做自动轮转处理,以避免磁盘空间被日志填满。
values.yaml
配置方法:
controller:
config:
access-log-path: /var/log/nginx/nginx_access.log
error-log-path: /var/log/nginx/nginx_error.log
extraVolumes:
- name: log
emptyDir: {}
extraVolumeMounts:
- name: log
mountPath: /var/log/nginx
extraContainers:
- name: logrotate
image: imroc/logrotate:latest
imagePullPolicy: IfNotPresent
env:
- name: LOGROTATE_FILE_PATTERN
value: "/var/log/nginx/nginx_*.log"
- name: LOGROTATE_FILESIZE
value: "100M"
- name: LOGROTATE_FILENUM
value: "3"
- name: CRON_EXPR
value: "*/1 * * * *"
- name: CROND_LOGLEVEL
value: "8"
volumeMounts:
- name: log
mountPath: /var/log/nginx
本页内容是否解决了您的问题?