tencent cloud

PrevNext

文档反馈

请输入关键字

Recent Pages

文档
数据开发治理平台 WeData
    文档
    Download PDF

    转换节点配置

    最后更新时间：2024-11-01 17:03:08
    下载PDF

      字段转换相关节点

      字符串替换

      字符串替换节点主要使用 Java 正则表达式对字符串字段的内容进行匹配与替换，本节点将在字段内容全部或部分匹配字符串时执行替换操作。 转换规则参数说明如下：
      参数
      说明
      字段
      选择需要进行字符串匹配的字段。本节点处理的字段必须为字符串类型。
      说明：
      本转换节点中，可对同一个字段配置多个转换规则。多个规则之间将根据配置顺序串行。
      正则表达式
      用于匹配原字段内容的 Java 正则表达式。
      新字符串
      对命中的字段内容替换成指定新字符串。
      替换方式
      支持仅替换第一个匹配结果或全部替换。
      删除
      删除本行规则。

      字段分割

      字段分割节点主要用于原始字段内容使用固定符号进行内容切割，切割后的内容将写入新字段内，原始内容保持不变。本节点通常用于字段内容进行一对多映射的场景，如将字段 A 中"Tencent-cloud"用"-"切割并分别写入两个新字段 B、C 中。 转换规则参数说明如下：
      参数
      说明
      字段
      选择需要进行内容切割的字段。
      说明：
      本转换节点中，可对同一个字段配置多个转换规则。
      分割符
      填写分割标识。
      说明：
      分割符支持通过下拉或者手动输入的方式填充,可以从下拉菜单中选择内置的分割符号或者手动填充。
      结果字段名称
      输入用于接收分割结果到字段名称，多个字段名称之间使用逗号分割。分割结果默认将依次填充进目标字段中，若定义字段名称多于分割结果则多余的字段内容将为默认空值，反之多出的分割内容将被舍弃。
      说明：
      如字段 A（内容为"Tencent-cloud"）使用"-"切割，写入 B、C、D 三个字段，则 BC 字段会被分别填充 Tencent、cloud，D 字段内容将为默认空值。
      删除
      删除本行规则。
      说明
      目前本节点仅支持实时同步任务。

      数据清洗相关节点

      数据过滤

      对表中每行内容根据过滤规则进行筛选和匹配，对于匹配的数据行支持保留或者去除。 转换规则参数说明如下：
      参数
      说明
      过滤动作
      保留：将命中过滤规则的数据写入到目标表中。
      去除：将命中的规则的数据不写入到目标表中。
      字段
      选择需要进行内容切割的字段。
      说明：
      本转换节点中，可对同一个字段配置多个转换规则。
      逻辑运算符
      支持 AND、OR。
      运算符
      目前支持 >、<、<=、>=、=、!= 为空以及不为空。
      类型
      用于与字段内容比较的值的类型：
      字段：使用指定字段的内容过滤字段比较，通常字段内容随不同数据行变化。
      自定义值：使用固定的常量与过滤字段内容比较。
      比较值
      选择字段或者输入自定义值。
      删除
      删除本行规则。
      说明
      目前本节点仅支持实时同步任务。

      去重

      根据实时数据的处理时间（process_time）对窗口内数据进行内容去重复。 转换规则参数说明如下：
      参数
      说明
      去重动作
      保留第一条：当时间窗口内存在重复数据时，保留时间顺序排名的第一条数据。
      保留最后一条：当时间窗口内存在重复数据时，保留时间顺序排名的最后一条数据。
      去重字段
      指定用于判定字段内容是否重复的字段，若指定默认使用全部字段。
      删除
      删除本行规则。
      说明
      目前本节点仅支持实时同步任务。

      数据连接（join）

      实时数据流 join，目前支持常规 regular join 。常规 regular join 适用于有界的输入流，默认保存所有 state。join 节点默认需要配置两个输入节点。 转换规则参数说明如下：
      参数
      说明
      左/右表
      选择 join 上游输入节点中作为左表对象的节点名称。
      左/右表关联键
      左右表用于 join 关联的字段名称。
      连接方式
      支持左连接（left join）、右连接（right join）、全连接（full join）。
      
      联系我们

      联系我们，为您的业务提供专属服务。

      联系我们
      技术支持

      如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

      提交工单
      7x24 电话支持
      Copyright © 2013-2025 Tencent Cloud. All Rights Reserved.
      隐私条款服务条款缓存条款