跳到主要内容

TDengine3

本文讲述如何使用 Explorer 订阅另一个集群的数据到本集群。

准备工作

在源集群创建订阅所需的 Topic, 可以订阅整个库、超级表 或子表。本示例中我们演示订阅一个名为 test 的数据库。

第一步:进入“数据订阅”页面

打开源集群的 Explorer 界面, 点击左侧“数据订阅”菜单,然后点击“添加新主题”。

准备一

第二步: 添加新主题

输入主题名称,选择要订阅的数据库。

准备二

第三步:复制主题的 DSN

点击“创建”按钮,回到主题列表复制主题的 DSN 备用。

准备三

创建订阅任务

第一步: 进入“新增数据源”页面

  1. 点击左侧“数据写入”菜单
  2. 点击“新增数据源” 步骤一

第二步:输入数据源信息

  1. 输入任务名称
  2. 选择任务类型“TDengine3”
  3. 选择目标数据库
  4. 粘贴准备步骤复制的 DSN 到 Topic DSN 一栏。例如:tmq+ws://root:taosdata@localhost:6041/topic
  5. 完成以上步骤点击“连通性检查”按钮,测试与源端的连通性 步骤二

第三步:填写订阅设置并提交任务

  1. 选择订阅初始位置。可配置从最早数据(earliest)或最晚(latest)数据开始订阅,默认为 earliest
  2. 设置超时时间。支持单位 ms(毫秒),s(秒),m(分钟),h(小时),d(天),M(月),y(年)
  3. 设置订阅组 ID。订阅组 ID 是用于标识一个订阅组的任意字符串,最大长度为 192。同一个订阅组内的订阅者共享消费进度。不指定情况下将使用随机生成的 group ID。
  4. 设置客户端 ID。客户端 ID 是一个用于标识客户端的任意字符串,最大长度为 192。
  5. 同步已落盘数据。如启用,可以同步已经落盘到 TSDB 时序数据存储文件中(即不在 WAL 中)的数据。如关闭,则只同步尚未落盘(即保存在 WAL 中)的数据。
  6. 同步删表操作。如启用则会同步删表操作到目标数据库。
  7. 同步删数据操作。如启用则会同步删数据操作到目标数据库。
  8. 压缩。启用 WebSocket 压缩支持,以降低网络带宽占用。
  9. 点击“提交按钮”, 提交任务 步骤三

监控任务运行情况

提交任务后,回到数据源页面可以查看任务状态。任务先会被加入执行队列,稍后就开始运行。 步骤四

点击 “查看”按钮,可以监控任务的动态统计信息。 步骤五

也可以点击左侧折叠按钮,展开任务的活动信息。如果任务运行异常,此处可以看到详细的说明。 步骤六

高级用法

  1. FROM DSN 支持多个 Topic,多个 Topic 的名字用逗号分割。例如: tmq+ws://root:taosdata@localhost:6041/topic1,topic2,topic3
  2. 在 FROM DSN 中,也可以用数据库名称、超级表名称或子表名称代替 Topic 名称。例如:tmq+ws://root:taosdata@localhost:6041/db1,db2,db3,此时不必要提前创建 Topic,taosX 将自动识别到使用的是数据库名称,并自动在源集群创建订阅数据库的 Topic。
  3. FROM DSN 支持 group.id 参数,以显式指定订阅用的 group ID。不指定情况下将使用随机生成的 group ID。