tencent cloud

文档反馈

日志服务

最后更新时间:2023-09-06 16:52:24
    公告:

    CDN 官网通用日志字段 - HTTP 协议标识(离线日志第14个字段)将增加值“HTTP/3”,此变更将于 2021-09-13 起灰度发布,不会影响控制台及接口的数据监控统计,若您使用离线日志下载包进行数据统计,请关注并确认具体影响,按需调整。非常感谢您的理解与配合,谢谢!

    背景:QUIC 访问功能已在内测中,详情请参见 QUIC

    功能介绍

    将域名接入内容分发网络(CDN)后,所有用户侧资源请求将调度至 CDN 节点进行响应,若节点已缓存该资源,则直接返回内容,若 CDN 节点均未缓存该资源,会将请求透传至域名配置的源站,拉取所需资源。

    由于 CDN 节点响应了绝大部分的用户请求,为了方便客户对用户访问进行分析,CDN 对全网访问日志进行了小时粒度打包,默认存储 30 天,并且提供下载服务。

    说明:

    • 暂时仅提供节点访问日志,不提供回源日志。
    • ECDN 域名离线日志暂不支持分区域查询,ECDN 离线日志字段说明请参考 ECDN 产品文档

    适用场景

    访问行为分析

    客户可以通过下载访问日志,按自身需要进行热门资源分析、活跃用户分析等。

    服务质量监控

    通过下载访问日志,可以掌握全盘 CDN 节点服务状态,计算平均响应时间、平均下载速度等指标。

    操作指南

    使用方式

    登录 CDN 控制台,单击左侧目录的【日志服务】,可选择域名、时间进行访问日志查询,支持勾选多个日志包,批量下载到本地:

    注意:

    • 访问日志默认按小时打包,若某个小时里域名无任何请求,则不会产生该时间区间的日志包。
    • 同一个域名的境外访问日志跟境内访问日志是分开打包的,日志数据包的命名格式为 “时间-域名-加速区域”。
    • 访问日志从各 CDN 加速节点收集而来,因此延迟上各有差异,一般情况下日志包可查询、下载延迟约30分钟,日志包会不断追加,一般24小时左右趋于稳定。
    • 域名历史访问日志仅保留 30 天内的日志包,您可以按照以下 指引,利用 SCF 函数将日志包转存至对象存储 COS,进行永久存储。

    字段说明

    日志中对应的字段顺序(从左到右)及含义如下表所示:

    顺序 日志内容
    1 请求时间
    2 客户端 IP
    3 域名
    4 请求路径
    5 本次访问字节数大小(包含文件本身大小及请求 header 头部大小)
    6 境内日志代表省份编号,境外日志代表地区编号(映射表见下文)
    7 境内日志代表运营商编号,境外日志统一为 -1(映射表见下文)
    8 HTTP 状态码
    9 Referer 信息
    10 响应时间(毫秒),指节点从收到请求后响应所有回包再到客户端所花费的时间
    11 User-Agent 信息
    12 Range 参数
    13 HTTP Method
    14 HTTP 协议标识
    15 缓存 HIT/MISS,在 CDN 边缘节点命中、父节点命中均标记为 HIT
    16 客户端与 CDN 节点建立连接的端口,若无则为 -

    区域 / 运营商映射表

    境内省份映射

    区域 ID 地区 区域 ID 地区 区域 ID 地区
    22 北京 86 内蒙古 146 山西
    1069 河北 1177 天津 119 宁夏
    152 陕西 1208 甘肃 1467 青海
    1468 新疆 145 黑龙江 1445 吉林
    1464 辽宁 2 福建 120 江苏
    121 安徽 122 山东 1050 上海
    1442 浙江 182 河南 1135 湖北
    1465 江西 1466 湖南 118 贵州
    153 云南 1051 重庆 1068 四川
    1155 西藏 4 广东 173 广西
    1441 海南 0 其他 1 港澳台
    -1 境外

    境内运营商映射

    运营商 ID 运营商 运营商 ID 运营商 运营商 ID 运营商
    2 中国电信 26 中国联通 38 教育网
    43 长城宽带 1046 中国移动 3947 中国铁通
    -1 境外运营商 0 其他运营商

    境外地区映射

    区域 ID 地区 区域 ID 地区 区域 ID 地区
    2000000001 亚太一区(服务地区) 765 斯洛伐克 1613 安哥拉
    2000000002 亚太二区(服务地区) 766 塞尔维亚 1617 科特迪瓦
    2000000003 亚太三区(服务地区) 770 芬兰 1620 苏丹
    2000000004 中东(服务地区) 773 比利时 1681 毛里求斯
    2000000005 北美(服务地区) 809 保加利亚 1693 摩洛哥
    2000000006 欧洲(服务地区) 811 斯洛文尼亚 1695 阿尔及利亚
    2000000007 南美(服务地区) 812 摩尔多瓦 1698 几内亚
    2000000008 非洲(服务地区) 813 马其顿 1730 塞内加尔
    -20 亚洲(客户端地区) 824 爱沙尼亚 1864 突尼斯
    -21 南美洲(客户端地区) 835 克罗地亚 1909 乌拉圭
    -22 北美洲(客户端地区) 837 波兰 1916 格陵兰
    -23 欧洲(客户端地区) 852 拉脱维亚 2026 中国台湾
    -24 非洲(客户端地区) 857 约旦 2083 缅甸
    -25 大洋洲(客户端地区) 884 吉尔吉斯斯坦 2087 文莱
    35 尼泊尔 896 爱尔兰 2094 斯里兰卡
    57 泰国 901 利比亚 2150 巴拿马
    73 印度 904 亚美尼亚 2175 哥伦比亚
    144 越南 921 也门 2273 摩纳哥
    192 法国 926 白俄罗斯 2343 安道尔
    207 英国 971 卢森堡 2421 土库曼斯坦
    208 瑞典 1036 新西兰 2435 老挝
    209 德国 1044 日本 2488 东帝汶
    213 意大利 1066 巴基斯坦 2490 汤加
    214 西班牙 1070 马耳他 2588 菲律宾
    386 阿联酋 1091 巴哈马 2609 委内瑞拉
    391 以色列 1129 阿根廷 2612 玻利维亚
    397 乌克兰 1134 孟加拉 2613 巴西
    - - 1158 柬埔寨 2623 哥斯达黎加
    417 哈萨克斯坦 1159 中国澳门 2626 墨西哥
    428 葡萄牙 1176 新加坡 2639 洪都拉斯
    443 希腊 1179 马尔代夫 2645 萨尔瓦多
    471 沙特阿拉伯 1180 阿富汗 2647 巴拉圭
    529 丹麦 1185 斐济 2661 秘鲁
    565 伊朗 1186 蒙古 2728 尼加拉瓜
    578 挪威 1195 印度尼西亚 2734 厄瓜多尔
    669 美国 1200 中国香港 2768 危地马拉
    692 叙利亚 1233 卡塔尔 2999 阿鲁巴
    704 塞浦路斯 1255 冰岛 3058 埃塞俄比亚
    706 捷克 1289 阿尔巴尼亚 3144 波黑
    707 瑞士 1353 乌兹别克斯坦 3216 多米尼加
    708 伊拉克 1407 圣马力诺 3379 韩国
    714 荷兰 1416 科威特 3701 马来西亚
    717 罗马尼亚 1417 黑山 3839 加拿大
    721 黎巴嫩 1493 塔吉克斯坦 4450 澳大利亚
    725 匈牙利 1501 巴林 4460 中国大陆
    726 格鲁吉亚 1543 智利 -15 亚洲其他
    731 阿塞拜疆 1559 南非 -14 南美洲其他
    734 奥地利 1567 埃及 -13 北美洲其他
    736 巴勒斯坦 1590 肯尼亚 -12 欧洲其他
    737 土耳其 1592 尼日利亚 -11 非洲其他
    759 立陶宛 1598 坦桑尼亚 -10 大洋洲其他
    763 阿曼 1611 马达加斯加 -2 境外其他

    境外运营商映射

    运营商 ID 运营商
    -1 境外运营商

    注意事项

    通过访问日志第五个字段中记录的字节数,统计计算而来的流量 / 带宽数据与 CDN 计费流量 / 带宽数据不一致。原因如下:

    • 访问日志中仅可记录应用层数据,在实际网络传输中,产生的网络流量要比纯应用层流量多5% - 15%。由两部分组成:
      • TCP/IP 包头消耗,基于 TCP/IP 协议的 HTTP 请求,每一个包的大小最大是1500个字节,包含了 TCP 和 IP 协议的40个字节的包头,包头部分会产生流量,但是无法被应用层统计到,这部分的开销大致为3%左右;
      • TCP 重传,正常网络传输过程中,发送的网络包会有3% - 10%左右会被互联网丢掉,丢掉后服务器会对丢弃的部分进行重传,此部分流量应用层也无法统计,占比约为3% - 7%。
    • 在业内标准中,计费用流量一般在应用层流量的基础上加上上述开销,腾讯云 CDN 取10%,因此监控流量约为日志计算流量的110%。

    使用案例

    境内访问日志示例

    境外访问日志示例

    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持