TDengine3
本文讲述如何使用 Explorer 订阅另一个集群的数据到本集群。
准备工作
在源集群创建订阅所需的 Topic, 可以订阅整个库、超级表 或子表。本示例中我们演示订阅一个名为 test 的数据库。
第一步:进入“数据订阅”页面
打开源集群的 Explorer 界面, 点击左侧“数据订阅”菜单,然后点击“添加新主题”。
第二步: 添加新主题
输入主题名称,选择要订阅的数据库。
第三步:复制主题的 DSN
点击“创建”按钮,回到主题列表复制主题的 DSN 备用。
创建订阅任务
第一步: 进入“新增数据源”页面
- 点击左侧“数据写入”菜单
- 点击“新增数据源”
第二步:输入数据源信息
- 输入任务名称
- 选择任务类型“TDengine3”
- 选择目标数据库
- 粘贴准备步骤复制的 DSN 到 Topic DSN 一栏。例如:tmq+ws://root:taosdata@localhost:6041/topic
- 完成以上步骤点击“连通性检查”按钮,测试与源端的连通性
第三步:填写订阅设置并提交任务
- 选择订阅初始位置。可配置从最早数据(earliest)或最晚(latest)数据开始订阅,默认为 earliest
- 设置超时时间。支持单位 ms(毫秒),s(秒),m(分钟),h(小时),d(天),M(月),y(年)
- 设置订阅组 ID。订阅组 ID 是用于标识一个订阅组的任意字符串,最大长度为 192。同一个订阅组内的订阅者共享消费进度。不指定情况下将使用随机生成的 group ID。
- 设置客户端 ID。客户端 ID 是一个用于标识客户端的任意字符串,最大长度为 192。
- 同步已落盘数据。如启用,可以同步已经落盘到 TSDB 时序数据存储文件中(即不在 WAL 中)的数据。如关闭,则只同步尚未落盘(即保存在 WAL 中)的数据。
- 同步删表操作。如启用则会同步删表操作到目标数据库。
- 同步删数据操作。如启用则会同步删数据操作到目标数据库。
- 压缩。启用 WebSocket 压缩支持,以降低网络带宽占用。
- 点击“提交按钮”, 提交任务
监控任务运行情况
提交任务后,回到数据源页面可以查看任务状态。任务先会被加入执行队列,稍后就开始运行。
点击 “查看”按钮,可以监控任务的动态统计信息。
也可以点击左侧折叠按钮,展开任务的活动信息。如果任务运行异常,此处可以看到详细的说明。
高级用法
- FROM DSN 支持多个 Topic,多个 Topic 的名字用逗号分割。例如:
tmq+ws://root:taosdata@localhost:6041/topic1,topic2,topic3
- 在 FROM DSN 中,也可以用数据库名称、超级表名称或子表名称代替 Topic 名称。例如:
tmq+ws://root:taosdata@localhost:6041/db1,db2,db3
,此时不必要提前创建 Topic,taosX 将自动识别到使用的是数据库名称,并自动在源集群创建订阅数据库的 Topic。 - FROM DSN 支持 group.id 参数,以显式指定订阅用的 group ID。不指定情况下将使用随机生成的 group ID。