功能概述
许多公开或商业化程序,包括搜索引擎爬虫,具备固定或默认的 User-Agent 头部特征,且有明确的用途。Bot 基础特征管理规则收录了大部分公开的 Bot 类型特征,您可以对符合这些特征的 Bot 工具直接管理,可以帮助您:
1. 允许搜索引擎爬虫访问,避免误拦截;
2. 识别特定用途的商业化工具,限制其访问。
EdgeOne 会定期更新自动化工具的特征,确保您的策略持续覆盖管控场景。
使用场景
默认情况下,Bot 基础特征管理策略为未启用状态。当您有以下场景诉求的时候,可以开启并按需调整 Bot 基础管理防护策略:
管控来源于 IDC(数据中心)的请求
大部分 To C 应用的访问来源均来自移动网络、宽带供应商、或教育网等网络,正常请求不会来源于数据中心(IDC)。因此,来自云供应商或者数据中心的请求,多来自于代理或者爬虫。您可以选择管控来源于数据中心(IDC)的请求,对其进行拦截或者 JavaScript 挑战,以缓解恶意访问的风险。
管控合法的具有搜索引擎特征的 Bot 请求
搜索引擎的爬虫是目前少数合法的 Bot 类型之一。为了站点能够区分来源于搜索引擎的合法爬虫,大部分搜索引擎供应商提供了其爬虫引擎使用的网段和 UA 特征。EdgeOne 的搜索引擎特征规则集合了搜索引擎公开的 IP 特征、User-Agent 头部特征、rDNS 解析特征等多种匹配方式。您可以针对搜索引擎特征的 Bot 请求配置为放行,以避免被 Bot 管理策略拦截。
管控来自于商用或开源工具的请求
商业化工具软件或开源工具往往携带了特定的 User-Agent 特征,EdgeOne 根据使用用途对这些自动化工具进行了分类,并定期更新对应的 User-Agent 库。如果您不允许来自这些商业或者开源工具的 Bot 请求,您可以对其进行拦截。
调整基础特征管理防护策略
例如:电商站点shop.example.com
为了避免被用户通过工具的方式来进行下单抢购,需要禁用自动购物车类的 Bot。您可以参照以下步骤操作:
2. 单击安全防护 > Web 防护。默认为站点级防护策略,单击域名级防护策略 Tab,在域名级防护策略中,单击目标域名进入目标域名防护策略配置界面,例如:shop.example.com
。
3. 定位到 Bot 管理卡片,选择基础特征管理中的 UA 特征规则,单击右上角详细规则。
4. 在详细规则页中,您可以单独针对指定的规则 ID 修改处置方式;如果您需要批量配置,也可以单击批量配置,批量勾选需要配置的规则 ID 后,选择处置方式并应用。以当前场景为例,您可以对自动购物车机器人进行管控,修改该规则的处置方式为拦截。 5. 单击确定,完成修改。
本页内容是否解决了您的问题?