tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
TDSQL-C MySQL 版
    文档
    Download PDF

    Runtime Filter 使用手册

    最后更新时间：2024-12-17 16:47:18
    下载PDF
      HASH JOIN 是一种数据库中常见的数据库连接算法，它通过使用哈希表来加速连接过程，通常其分为 Build 和 Probe 两个阶段，当 Probe 阶段数据量比较大且输出的数据比较少时，可以开启 Runtime Filter 来提前过滤一部分数据从而提升性能。
      
      只读分析引擎的 Runtime Filter 由两部分构成，分别是 RF Build 和 RF Filter。RF Build 是在 HASH JOIN 的 Build 端，用来构建 Runtime Filter。RF Filter则在对应 HASH JOIN 表的 Probe 端的 TableScan 上，用于提前过滤数据以提升性能。

      Runtime Filter 类型

      Local Runtime Filter

      Local Runtime Filter 通常用于数据 JOIN 的时候没有被 Shuffle 的场景。此时，当前构建节点的 Runtime Filter 已经可以满足 Probe 的需要，就无须网络传输，直接将 Runtime Filter 的数据传递给 Probe 侧即可使用。
      
      如上图所示，当我们 JOIN 时，Build 表没有被 Shuffle 发送的时候，那么在同一个计划下的 Runtime Filter Build 算子将自己的数据构建发送给当前计划中对应的 Filter Probe 部分。

      Global Runtime Filter

      当 JOIN 数据被 Shuffle 到不同节点上进行构建时，这时候当前构建节点所构建的 Runtime Filter 不能够满足过滤要求。这种情况下就需要接受其他节点的 Runtime Filter，将所有构建节点的 Runtime Filter 合并完成之后，再进行使用。
      
      当我们 JOIN 时，Build 表的数据是被 Shuffle 出去的时候，当前计划中的 Runtime FIlter Build 算子构建的数据就不是完整的，Runtime Filter 就必须接收除了当前计划的算子构建的数据以及其他相同计划构建的数据进行合并后才能使用。

      过滤器类型

      在过滤器算法的选择上，通常会按照数据分布的情况选择以下一个或者多个过滤算法。
      Bloom Filter
      Bloom Filter 作为一个经典的过滤器算法，能够通过几个 HASH 函数来决定数据是否存在。Runtime Filter 中布隆过滤器的大小通常取决于数据的 NDV。当然，布隆过滤器会出现一些误判（False Negative），将需要过滤的数据没有正确过滤，但是这些数据在 JOIN 的 Probe 阶段也会被过滤掉。
      MIN_MAX Filter
      MIN_MAX Filter 收集 Build 端数据的最大值和最小值，在过滤的时候就判断数据是否在这个区间内，如果不在就需要过滤掉。当 Build 端的数据是按照某一个区间进行分布的时候，MIN_MAX Filter 的过滤效果会比较好。
      IN Filter
      IN Filter 针对的是 NDV 值比较小的场景，这种场景下直接将这个列所有的值发送到探测端进行匹配。

      只读分析引擎中的 Runtime Filter

      开启或关闭 Runtime Filter

      默认情况下，只读分析引擎的 Runtime Filter 处于开启状态，可以使用下列开关开启或关闭。
       mysql> set libra_enable_runtime_filter=ON;
       mysql> set libra_enable_runtime_filter=OFF;
      开启之后，优化器会对 JOIN 进行评估，如果符合条件的情况就会自动启用 Runtime Filter。
      如果需要强制所有的 JOIN 都开启 Runtime Filter，可以在上述参数的基础之上配置如下参数。
      mysql>SET libra_enable_cost_based_runtime_filter=OFF;

      Runtime Filter 计划

      如下所示，这是一个 Local RF 的计划，在 JOIN 上分配了三种 Runtime Filter，这个场景中 HASH JOIN 的 Build 侧和 Probe 侧之间没有数据的重分布。
      
      image.png
      
      
      
      而下面所示的计划则是 Global RF，在 Build 侧和 Probe 侧之间存在数据的重分布，RF 可以在数据被网络传输之前提前过滤，可以减少网络传输和后续的 JOIN 开销从而获得性能提升。
      
      image.png
      
      

      调整 Runtime Filter 参数

      Runtime Filter 可以对以下参数进行调整。
      libra_enable_runtime_filter 表示是否打开 Runtime Filter。
      属性
      描述
      参数类型
      BOOL。
      默认值
      ON。
      取值范围
      ON：打开 Runtime Filter。
      OFF：关闭 Runtime Filter。
      作用域
      Global & Session。
      支持 SET_VAR Hint
      是。
      libra_runtime_filter_type 表示设置可以分配的 Runtime Filter 类型。
      属性
      描述
      参数类型
      VARCHAR。
      默认值
      MIN_MAX，BLOOM_FILTER，IN_FILTER。
      取值范围
      BLOOM_FILTER：构建 JOIN BUILD 端 JOIN KEY 的 Bloom Filter 来进行 Probe 端的数据过滤。
      MIN_MAX：构建 JOIN BUILD 端 JOIN KEY 的最大最小值来进行 Probe 端的数据过滤。
      IN：构建 JOIN BUILD 端 JOIN KEY 的值列表来进行 Probe 端的数据过滤。
      空字符串：表示关闭 Runtime Filter 功能。
      作用域
      Global & Session。
      支持 SET_VAR Hint
      是。
      libra_enable_cost_based_runtime_filter 表示是否开启基于代价的 Runtime Filter 分配，关闭后默认会生成所有的 Runtime Filter。
      属性
      描述
      参数类型
      BOOL。
      默认值
      ON。
      取值范围
      ON：开启基于代价的 Runtime Filter 分配。
      OFF：关闭基于代价的 Runtime Filter 分配。
      作用域
      Global & Session。
      支持 SET_VAR Hint
      是。
      libra_max_in_runtime_filter_ndv 表示在基于代价的 Runtime Filter 中，生成 IN 类型的 Runtime Filter 时，BUILD 端最大的 NDV（Number of Distinct Values）值。
      属性
      描述
      参数类型
      INT。
      默认值
      1024。
      取值范围
      0 - MaxValue。
      作用域
      Global & Session。
      支持 SET_VAR Hint
      是。
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2024 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款