tencent cloud

文档反馈

数据源管理

最后更新时间:2024-11-21 20:47:25

    支持的数据源类型

    当前版本下,腾讯云 WeData 共支持40+种数据源,包括:
    关系数据库:TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL、 MySQL、TCHouse-P、PostgreSQL、Oracle、SQL Server、IBM DB2、达梦 DM、SAP HANA、Sybase、TiDB;
    大数据:HDFS、HBase、Hive、Kudu、Greenplum、TCHouse-C、Clickhouse、GaussDB、TCHouse-D、Doris、DLC、Impala、Gbase、Tbase、Iceberg、StarRocks、Trino、Kyuubi、TCHouse-X;
    半结构化数据:FTP、SFTP、COS、REST API;
    NoSQL 数据:Redis、腾讯云 ElasticSearch、ElasticSearch、腾讯云 MongoDB、MongoDB、Graph Database;
    消息队列:CKafka 、DTS-Kafka、Kafka。

    数据源列表

    登录数据开发治理平台 WeData 控制台,单击左侧菜单数据源管理,在数据源管理页面,可查看和管理本项目下的数据源信息。
    
    
    项目中包含系统源和自定义源两种数据源。系统源是绑定存算引擎后自动生成的数据源;自定义源由用户自行新建。

    系统源

    系统源为用户在项目中绑定计算引擎时自动创建的数据源。系统源目前仅支持用户查看数据源连接信息和编辑,不支持删除、授权与回收操作。
    绑定 EMR 引擎将自动创建 EMR Hive 数据源、EMR HBase 数据源、EMR Kyuubi 数据源、EMR Impala 数据源、EMR Trino 数据源;
    绑定 DLC 引擎将自动创建 DLC 数据源;
    绑定 TCHouse-P 引擎将自动创建 TCHouse-P 数据源。
    
    
    
    查看连接信息:选择数据源所在行并单击查看连接信息
    
    
    
    编辑:选择数据源所在行并单击编辑。仅支持由主账号编辑显示名。
    
    
    

    自定义源

    自定义源为用户在 WeData 中引入的数据源,目前支持 MySQL、Kafka、HDFS 等共计20+种数据源类型。自定义源支持查看连接信息、编辑、删除、授权与回收操作。
    查看连接信息:选择数据源所在行并单击查看连接信息
    
    
    编辑:选择数据源所在行并单击编辑。 除连接类型、数据源名称和所属项目外,其他配置项均可编辑。
    云实例:通过云实例方式引入的数据源可修改数据源描述、用户名及密码。
    
    
    
    连接串:通过连接串方式引入的数据源可修改描述、JDBC URL 参数、用户名及密码。
    编辑数据源后,单击开始测试,测试编辑后的数据源的连通性。并单击确定对编辑内容进行保存。
    删除
    选中数据源,并单击操作列中删除
    确认数据源信息,单击删除
    授权/批量授权
    选中数据源,并单击操作列中授权
    选择授权对象,用户或项目。
    选择目标用户或项目,单击确定
    
    
    回收
    选中数据源,并单击操作列中回收
    选择需要回收权限的目标用户或项目,单击回收并在弹框中确定
    
    
    批量转交
    选中数据源,并单击左上角批量转交
    选择需要转交权限的目标用户,单击确定。转交后该数据源的负责人将变为转交人。
    
    

    创建关系数据库数据数据源

    腾讯云 WeData 当前版本支持创建的关系型数据库包括10余种,其中腾讯云关系型数据库产品(例如,TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL 等)支持用云实例的方式进行连接,通用关系型数据库数据源(例如 MySQL、PostgreSQL、Oracle、SQL Server 等)支持使用连接串的方式进行连接。

    选择数据源类型

    单击新建数据源并选择数据源类型,选择后单击下一步
    
    
    

    配置数据源:TDSQL-C MySQL

    腾讯云关系型数据库产品,以 TDSQL-C MySQL 数据源为例进行讲解,其他数据源同理。TDSQL-C MySQL 数据源支持云实例和连接串两种连接方式。
    通过云实例方式创建数据源。
    
    
    
    参数
    说明
    连接类型
    选择云实例或连接串的数据源连接形式
    所属项目
    当前数据源创建时的归属项目
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    数据源在产品中使用时的显示名称,不填默认显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    获取实例
    选择账户下云数据库实例所在的地域、实例名称及 ID 信息
    数据库名称
    需要连接的数据库名称
    用户名
    连接数据库的用户名称
    密码
    连接数据库的密码
    数据连通性
    测试是否能够连通所配置的数据库
    说明:
    若连通性测试不通过,数据源仍可保存,但数据源不可访问。
    通过连接串创建数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    数据源在产品中使用时的显示名称,不填默认显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地IDC或其他云上资源实例,支持通过公网进行访问连接。
    区域与网络
    当选择自建实例时,需要选择数据源实例所在地域与 vpcID
    JDBC URL
    用于连接 TDSQL-C MySQL 数据源实例的连接串信息,包含 host ip、port、数据库名称等信息
    数据库名称
    需要连接的数据库名称
    用户名
    连接数据库的用户名称
    密码
    连接数据库的密码
    数据连通性
    测试是否能够连通所配置的数据库。
    说明:
    若连通性测试不通过,数据源仍可保存,但数据源不可访问。

    配置数据源:PostgreSQL

    通用关系型数据库数据源,以 PostgreSQL 为例进行讲解,其他数据源同理。PostgreSQL 数据源仅支持连接串一种连接方式。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。
    区域和网络
    当选择自建实例时,需要选择数据源所在地域与 vpcID
    JDBC URL
    用于连接 PostgreSQL 数据源实例的连接串信息,包含 host ip、port、数据库名称等信息
    用户名
    连接数据库的用户名称
    密码
    连接数据库的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:IBM DB2

    DB2 数据源仅支持连接串一种连接方式。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    区域和网络
    选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
    DB2 型号
    选择对应的 DB2 型号,当前版本支持 DB2 iSeries/AS 400、DB2 for LUW 和 DB2 z/OS 三种型号
    IP 和端口号
    分别输入 DB2 数据源的 IP 与端口号信息
    用户名
    连接数据库的用户名称
    密码
    连接数据库的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:Sybase

    Sybase 数据源仅支持连接串一种连接方式。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    选择来源于自建实例或公网实例
    区域和网络
    选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
    IP 和端口号
    分别输入 Sybase 数据源的 IP 与端口号信息
    数据库名称
    需要连接的数据库名称
    用户名
    连接数据库的用户名称
    密码
    连接数据库的密码
    数据连通性
    测试是否能够连通所配置的数据库

    创建大数据数据源

    腾讯云 WeData 当前版本支持创建的大数据类型数据源包括10余种,其中 TCHouse-C、TCHouse-D 为腾讯云大数据产品。

    选择数据源类型

    单击新建数据源并选择数据源类型,选择后单击下一步
    
    
    

    配置数据源:HDFS

    WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HDFS 数据源。
    云实例方式引入数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    仅支持腾讯云 EMR
    获取实例
    选择账户下 EMR 实例所在的地域、实例名称及 ID 信息
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
    连接串方式引入数据源
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    部署方式
    目前仅支持添加腾讯云 EMR 中的 HDFS
    区域与网络
    先选择地域,再选择该地域下的 EMR 实例,单击右侧刷新按钮可以重新获取该地域下的实例
    defaultFS
    用于指定默认文件系统,并默认为本地文件系统
    扩展配置
    选填,关于 HDFS 连接串方式的配置的可选扩展
    core-site.xml 文件
    HDFS 的 core-site.xml 文件
    hdfs-site.xml 文件
    HDFS 的 hdfs-site.xml 文件
    认证方式
    HDFS 连接是否存在 Kerberos 认证方式
    keytab 文件
    Kerberos 认证所需的 keytab 文件
    conf 文件
    Kerberos 认证所需的 conf 文件
    principal
    Kerberos 认证所需的 principal
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    配置数据源:HBase

    WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HBase 数据源。
    云实例方式引入数据源
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    当前版本仅支持腾讯云 EMR
    获取实例
    选择账户下 EMR 实例所在的地域、实例名称及 ID 信息
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
    连接串方式引入数据源
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源部署方式
    目前仅支持添加腾讯云 EMR 中的 HBase
    获取实例
    先选择地域,再选择该地域下的 EMR 实例,单击右侧刷新按钮可以重新获取该地域下的实例
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    配置数据源:Hive

    WeData 目前支持通过连接串引入 Hive 数据源。
    
    
    
    
    
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    JDBC URL
    用于连接 Hive 数据源的连接串信息
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    元数据采集
    选中后,当前数据源会在数据发现模块自动创建元数据采集任务
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:Kudu

    WeData 目前支持通过腾讯云 EMR 和连接串两种方式引入 Kudu 数据源。
    云实例方式引入数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    当前版本仅支持腾讯云 EMR
    获取实例
    选择账户下 EMR 实例所在的地域、实例名称及 ID 信息。
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
    连接串方式引入数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    Kudu 服务器列表
    用于连接 Kudu 服务器的地址信息
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:Doris

    WeData 目前支持通过连接串方式引入 Doris DB、StarRocks 数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
    区域和网络
    选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
    JDBC URL
    用于连接 Hive 数据源的连接串信息
    FE URL
    输入 fe http 地址,格式为:IP 地址 :http 端口,多个地址之间使用逗号(,)分隔,例如:172.17.16.3:8030,172.17.16.4:8030
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:Iceberg

    WeData 目前支持通过连接串方式引入 Iceberg 数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    区域和网络
    选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
    catalog
    可选择 HIVE 或 HDFS
    Metastore URL
    请输入 Metastore URL
    JDBC URL
    用于连接 Hive 数据源的连接串信息
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    warehouse 路径
    请输入 warehouse 路径
    core-site.xml
    支持上传 core-site.xml
    hdfs-site.xml
    支持上传 hdfs-site.xml
    hive-site.xml
    支持上传 hive-site.xml
    认证方式
    可选择 Kerberos 的认证方式
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:DLC

    WeData 目前支持通过连接串的方式接入DLC 数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    JDBC URL
    用于连接 DLC 数据源的连接串信息
    用户名
    连接数据源的用户名称
    SecretId
    连接数据源的用户名称
    SecretKey
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:Clickhouse、Kyuubi、TChouse-X

    WeData 目前支持通过云实例和连接串两种方式引入 Clickhouse、Kyuubi、TCHouse-X 数据源。
    云实例方式引入数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    当前版本仅支持腾讯云 EMR
    获取实例
    选择账户下云数据库实例所在的地域、实例名称及 ID 信息
    数据库名
    目标数据库名
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
    连接串方式引入数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    JDBC URL
    用于连接 Hive 数据源的连接串信息
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:Trino

    腾讯云 WeData 目前支持连接串方式引入 Trino 数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内。
    显示名
    选填显示名,不填则显示数据源名称。
    描述
    选填,对本数据源的描述。
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用。
    部署方式
    支持自建实例、公网实例两种部署方式
    区域和网络
    选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
    IP和端口号
    选填,输入当前数据源的 IP 地址和端口号
    catalog
    可选择 catalog
    Schema
    请输入 sybase
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:Greenplum、GauseDB、Impala、Tbase、Gbase

    针对数据源类型:Greenplum、GauseDB、Impala、Tbase、Gbase,腾讯云 WeData 目前支持连接串方式进行接入。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    JDBC URL
    用于连接 Hive 数据源的连接串信息
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    创建半结构化数据源

    腾讯云 Wedata 当前版本支持 FTP、SFTP、COS 和 REST API 四种半结构化数据源,其中 COS 是腾讯云产品。

    选择数据源类型

    单击新建数据源并选择数据源类型,选择后单击下一步

    
    
    

    配置数据源:FTP

    腾讯云 WeData 目前支持连接串方式引入 FTP 数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
    区域和网络
    选择所在地域以及当前地域下对应的 vpcid
    IP 和端口号
    输入 FTP 数据源的 IP 和端口号
    用户名
    连接数据源的用户名
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:SFTP

    腾讯云 WeData 目前支持连接串方式引入 SFTP 数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
    区域和网络
    选择所在地域以及当前地域下对应的 vpcid
    IP 和端口号
    输入 SFTP 数据源的 IP 和端口号
    用户名
    连接数据源的用户名
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    配置数据源:COS

    腾讯云 WeData 目前支持云实例方式引入 COS 数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
    区域和网络
    选择所在地域以及当前地域下对应的 vpcid
    secertId
    连接数据源的用户名称
    secertKey
    连接数据源的密码
    存储桶
    选填,添加当前数据源的访问路径
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    配置数据源:REST API

    腾讯云 WeData 目前支持连接串方式引入 REST API 数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
    区域和网络
    选择所在地域以及当前地域下对应的 vpcid
    URL
    用于连接数据源的连接串信息
    默认请求头
    可选填写请求头
    认证方式
    可选择 Basic、Token 的认证方式
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    创建 NoSQL 数据源

    腾讯云 WeData 当前版本支持的 NoSQL 类型数据源包括 Redis、腾讯云 ELasticSearch、ElasticSearch、腾讯云 MongoDB、MongoDB、Graph Database,其中腾讯云 ELasticSearch、腾讯云 MongoDB 为腾讯云 NoSQL 数据库产品。

    选择数据源类型

    单击新建数据源并选择数据源类型,选择后单击下一步

    
    
    

    配置数据源:腾讯云 ElasticSearch

    腾讯云 ElasticSearch 数据源、MongoDB 数据源支持通过云实例的方式进行接入,以腾讯云 ElasticSearch 为例进行讲解,腾讯云 MongoDB 数据源同理。
    
    
    行讲解,腾讯云 MongoDB 数据源同理。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    获取实例
    选择账户下腾讯云 ElasticSearch 实例所在的地域、实例名称及 ID 信息
    安全认证
    选择匿名登录则无须填写用户名密码,选择用户名密码登录后需填写用户名及密码信息完成安全认证
    用户名
    连接数据源的用户名称
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    配置数据源:Redis

    Redis、ElasticSearch、MongDB、Graph Database 数据源目前仅支持用连接串方式接入,以 Redis 数据源为例进行讲解,其他数据源同理。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    部署方式
    支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。
    区域和网络
    当选择自建实例时,需要选择数据源所在地域与 vpcID
    IP 和端口号
    选填,输入当前数据源的 IP 地址和端口号
    账号类型
    无用户名可不填
    腾讯云 Redis 自定义账号,请填写账号
    2018年1月份前购买的腾讯云 Redis 实例,请填写实例 ID
    密码
    连接数据源的密码
    数据连通性
    测试是否能够连通所配置的数据库

    创建消息队列数据源

    腾讯云 WeData 当前版本支持的消息队列类型数据源包括腾讯云 CKafka、DTS-Kafka、Kafka 三种,其中 CKafka、DTS-Kafka 为腾讯云消息队列产品。

    选择数据源类型

    单击新建数据源并选择数据源类型,选择后单击下一步

    
    
    

    配置数据源:腾讯云 CKafka

    WeData 支持通过云实例方式接入 Ckafka 类型数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    选填显示名,不填则显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    获取实例
    选择账户下 CKafka 实例所在的地域、实例名称及 ID 信息
    接入方式
    腾讯云 Ckafka 支持 PLAINTEXT 和 SASL_PLAINTEXT 两种接入方式,详情请查看 Ckafka 用户访问控制
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    配置数据源:DTS-Kafka

    WeData 支持通过云实例方式接入 DTS-Kafka 类型数据源。
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    显示名
    数据源在产品中使用时的显示名称,不填默认显示数据源名称
    描述
    选填,对本数据源的描述
    数据源权限
    项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
    集群地址
    集群地址,请到 DTS 控制台 > 订阅信息 > 内网地址复制
    Topic
    需要连接的 Topic 名称
    消费组名
    Consumer group 名
    账户/密码
    输入账户/密码
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    配置数据源:Kafka

    WeData 支持通过连接串方式接入 Kafka 类型数据源。
    
    
    
    参数
    说明
    数据源名称
    新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
    描述
    选填,对本数据源的描述
    数据源权限
    选择项目共享或仅个人与管理官可使用
    部署方式
    支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。
    区域和网络
    当选择自建实例时,需要选择数据源所在地域与 vpcID
    Kafka 服务列表
    请输入服务列表,例如 ip1:9092,ip2:9092
    Kafka 认证方式
    支持 PLAINTEXT、SASL_PLAINTEXT、SASL_SSL、JAAS 四种认证方式:
    如果选择 SASL_PAINTEXT 认证方式,需要填写用户名、密码;
    如果选择 SASL_SSL 认证方式,需要填写 TrustStore 认证文件、TrustStore 密码、用户名、密码;
    如果选择 JAAS 认证方式,需要填写 Kafka sasl jaas 配置。
    数据连通性
    测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

    附件

    腾讯云 MongoDB 数据源、MongoDB 数据源支持的高级参数列表

    参数类型
    参数名称
    支持情况
    副本集选项
    replicaSet
    支持
    directConnection
    支持
    TLS 选项
    tls
    不支持,只支持为 false
    ssl
    不支持,只支持为 false
    tlsCertificateKeyFile
    不支持
    tlsCertificateKeyFilePassword
    不支持
    tlsCAFile
    不支持
    tlsAllowInvalidCertificates
    不支持
    tlsAllowInvalidHostnames
    不支持
    tlsInsecure
    不支持
    超时选项
    connectTimeoutMS
    支持,默认 10ms
    socketTimeoutMS
    支持
    压缩选项
    compressors
    支持
    zlibCompressionLevel
    支持
    连接池选项
    maxPoolSize
    支持
    minPoolSize
    支持
    maxConnecting
    支持
    maxIdleTimeMS
    支持
    waitQueueMultiple
    支持
    waitQueueTimeoutMS
    支持
    写关注选项
    w
    支持
    wtimeoutMS
    支持
    journal
    支持
    readConcern 选项
    readConcernLevel
    支持
    读取偏好选项
    readPreference
    支持
    maxStalenessSeconds
    支持
    readPreferenceTags
    支持
    身份验证选项
    authSource
    支持
    authMechanism
    支持 CRAM-SHA-256、CRAM-SHA-1
    authMechanismProperties
    不支持
    gssapiServiceName
    不支持
    服务器选择和发现选项
    localThresholdMS
    支持
    serverSelectionTimeoutMS
    支持
    serverSelectionTryOnce
    支持
    heartbeatFrequencyMS
    支持
    socketCheckIntervalMS
    支持
    其他配置
    appName
    支持
    retryReads
    支持
    retryWrites
    支持
    uuidRepresentation
    支持
    loadBalanced
    支持,但生效需要服务端支持
    srvMaxHosts
    支持
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持