tencent cloud

本文介绍如何根据 Pod 异常状态信息中的 Exit Code 进一步定位问题。

查看 Pod 异常状态信息

执行以下命令，查看异常 Pod 状态信息。

kubectl describe pod <pod name>

返回结果如下：

Containers:
  kubedns:
    Container ID:  docker://5fb8adf9ee62afc6d3f6f3d9590041818750b392dff015d7091eaaf99cf1c945
    Image:         ccr.ccs.tencentyun.com/library/kubedns-amd64:1.14.4
    Image ID:      docker-pullable://ccr.ccs.tencentyun.com/library/kubedns-amd64@sha256:40790881bbe9ef4ae4ff7fe8b892498eecb7fe6dcc22661402f271e03f7de344
    Ports:         10053/UDP, 10053/TCP, 10055/TCP
    Host Ports:    0/UDP, 0/TCP, 0/TCP
    Args:
      --domain=cluster.local.
      --dns-port=10053
      --config-dir=/kube-dns-config
      --v=2
    State:          Running
      Started:      Tue, 27 Aug 2019 10:58:49 +0800
    Last State:     Terminated
      Reason:       Error
      Exit Code:    255
      Started:      Tue, 27 Aug 2019 10:40:42 +0800
      Finished:     Tue, 27 Aug 2019 10:58:27 +0800
    Ready:          True
    Restart Count:  1

在返回结果的容器列表 Last State 字段中， Exit Code 为程序上次退出时的状态码，该值不为0即表示程序异常退出，可根据退出状态码进一步分析异常原因。

退出状态码说明

• 状态码需在0 - 255之间。
• 0表示正常退出。
• 若因外界中断导致程序退出，则状态码区间为129 - 255。例如，操作系统给程序发送中断信号 kill -9 或 ctrl+c，导致程序状态变为 SIGKILL 或 SIGINT。
• 通常因程序自身原因导致的异常退出，状态码区间在1 - 128。在某些场景下，也允许程序设置使用129 - 255区间的状态码。
• 若指定的退出状态码不在0 - 255之间（例如，设置 exit(-1)），此时将会自动执行转换，最终呈现的状态码仍会在0 - 255之间。
  若将退出时状态码记为 code，则不同情况下转换方式如下：
  • 当指定的退出时状态码为负数，转换公式为：

    256 - (|code| % 256)

  • 当指定的退出时状态码为正数，转换公式为：

    code % 256

常见异常状态码

• 137：表示程序被 SIGKILL 中断信号杀死。异常原因可能为：
  • 通常是由于 Pod 中容器内存达到了其资源限制（resources.limits）。例如，内存溢出（OOM）。由于资源限制是通过 Linux 的 cgroup 实现的，当某个容器内存达到资源限制， cgroup 就会将其强制停止（类似于 kill -9），此时通过 describe pod 可以看到 Reason 是 OOMKilled。
  • 宿主机本身资源不够用（OOM），则内核会选择停止一些进程来释放内存。

    说明：

    无论是 cgroup 限制，还是因为节点机器本身资源不够导致的进程停止，都可以从系统日志中找到记录。方法如下：
    Ubuntu 系统日志存储在目录 /var/log/syslog，CentOS 系统日志存储在目录 /var/log/messages 中，两者系统日志均可通过 journalctl -k 命令进行查看。

  • livenessProbe（存活检查）失败，使得 kubelet 停止 Pod。
  • 被恶意木马进程停止。
• 1和255：通常表示一般错误，具体原因需要通过容器日志进一步定位。例如，可能是设置异常退出使用 exit(1) 或 exit(-1)导致的，而-1将会根据规则转换成255。

Linux 标准中断信号

Linux 程序被外界中断时会发送中断信号，程序退出时的状态码为中断信号值加128。例如， SIGKILL 的中断信号值为9，那么程序退出状态码则为9 + 128 = 137。更多标准信号值参考如下表：

C/C++ 退出状态码

/usr/include/sysexits.h 中进行了退出状态码标准化（仅限 C/C++），如下表：

状态码参考

更多状态码含义可参考以下表格：