云函数是腾讯云为企业和开发者们提供的无服务器执行环境,具体可参见 云函数 SCF,下文简称 SCF。
云数据仓库 PostgreSQL 常见使用场景是将消息中间件的信息同步到云数据仓库 PostgreSQL 后再进行分析。本文提供了一种便捷的方法,即使用 SCF 实时的将 Kafka 中的数据导入到云数据仓库 PostgreSQL,无需用户维护任何服务。
在 云函数控制台 中选择函数服务 > 新建,在“新建函数”页面模糊搜索中搜索关键词“ckafka数据加载到CDW”,设置完成后单击下一步。
进入“函数配置”页面后,在“高级配置”中进行环境配置和网络配置,配置如下:
参数 | 必填 | 说明 |
---|---|---|
DB_DATABASE | 是 | 数据库名 |
DB_HOST | 是 | 如果函数是私有网络,并且和云数据仓库 PostgreSQL 是在同一子网,则可以填写云数据仓库 PostgreSQL 的内网 IP,否则需要填写外网 IP,并配置白名单 |
DB_USER | 是 | 用户名 |
DB_PASSWORD | 是 | 用户密码 |
DB_SCHEMA | 是 | 模式名,如果创建表的时候未指定,通常是 public |
DB_TABLE | 是 | 表名 |
DB_PORT | 否 | 云数据仓库 PostgreSQL 端口,默认为5436 |
MSG_SEPARATOR_ASCII | 否 | CKafka 中数据分隔符的 ASCII 码,默认为39(逗号),由于逗号经常会出现在业务数据中,这里建议使用11(Vertical tab) |
MSG_NULL | 否 | CKafka 中消费的 NULL 值,默认是 \N |
REPLACE_0X00 | 否 | 是否替换字符串中的0x00,默认是0(1表示替换) |
ENABLE_DEBUG | 否 | 是否打印错误的记录,默认是0(1表示打印) |
ENABLE_COS | 否 | 是否把未写入记录转储到 COS 上,默认是0(1表示转储) |
COS_SECRET_ID | 否 | 访问 COS 的 secret_id,ENABLE_COS 如果为1,该字段必填 |
COS_SECRET_KEY | 否 | 访问 COS 的 secret_key,ENABLE_COS 如果为1,该字段必填 |
COS_BUCKET | 否 | COS 存储桶名称,ENABLE_COS 如果为1,该字段必填 |
STATMENT_TIMEOUT | 否 | 查询超时时间,默认是50秒 |
在 云函数控制台 的函数服务列表中,单击函数列表新建的函数名,进入函数详情页面。选择页面左侧触发管理 > 创建触发器创建新触发器。其中触发方式需设置为“Ckafka 触发”,如下图所示:
关于触发器参数配置可以参考 CKafka 触发器。
本页内容是否解决了您的问题?