taosd 参考手册
taosd 是 TDengine 数据库引擎的核心服务，其配置文件默认是 /etc/taos/taos.cfg 但也可以指定不同路径的配置文件。本节详细介绍 taosd 的命令行参数及配置文件中的配置参数。
命令行参数
taosd 命令行参数如下
- -a
<json file>：指定一个 JSON 文件，其中包含服务启动时的各项配置参数，其格式形如{"fqdn":"td1"}，关于配置参数的细节请参考下一节 - -c
<directory>：指定配置文件所在目录 - -s：打印 SDB 信息
- -C: 打印配置信息
- -e: 指定环境变量，其格式形如
-e 'TAOS_FQDN=td1' - -k: 获取机器码
- -dm: 启用内存调度
- -V: 打印版本信息
配置参数
note
配置文件参数修改后，需要重启taosd服务，或客户端应用才能生效。
连接相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| firstEp | taosd 启动时，主动连接的集群中首个 dnode 的 end point，默认值 localhost:6030 | |
| secondEp | taosd 启动时，如果 firstEp 连接不上，尝试连接集群中第二个 dnode 的 endpoint，无默认值 | |
| fqdn | taosd 监听的服务地址，默认为所在服务器上配置的第一个 hostname | |
| serverPort | taosd 监听的端口，默认值 6030 | |
| compressMsgSize | 是否对 RPC 消息进行压缩；-1：所有消息都不压缩；0：所有消息都压缩；N (N>0)：只有大于 N 个字节的消息才压缩；默认值 -1 | |
| shellActivityTimer | 客户端向 mnode 发送心跳的时长，单位为秒，取值范围 1-120，默认值 3 | |
| numOfRpcSessions | RPC 支持的最大连接数，取值范围 100-100000，默认值 30000 | |
| numOfRpcThreads | RPC 线程数目，默认值为 CPU 核数的一半 | |
| numOfTaskQueueThreads | dnode 处理 RPC 消息的线程数 | |
| statusInterval | dnode 与 mnode 之间的心跳间隔 | |
| rpcQueueMemoryAllowed | dnode 允许的 rpc 消息占用的内存最大值，单位 bytes，取值范围 104857600-INT64_MAX，默认值 服务器内存的 1/10 | |
| resolveFQDNRetryTime | FQDN 解析失败时的重试次数 | |
| timeToGetAvailableConn | 获得可用连接的最长等待时间，取值范围 10-50000000，单位为毫秒，默认值 500000 | |
| maxShellConns | 允许创建的最大链接数 | |
| maxRetryWaitTime | 重连最大超时时间 | |
| shareConnLimit | 3.3.4.3 后 | 内部参数，一个链接可以共享的查询数目，取值范围 1-256，默认值 10 |
| readTimeout | 3.3.4.3 后 | 内部参数，最小超时时间，取值范围 64-604800，单位为秒，默认值 900 |
监控相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| monitor | 是否收集监控数据并上报，0：关闭；1:打开；默认值 0 | |
| monitorFqdn | taosKeeper 服务所在服务器的 FQDN，默认值 无 | |
| monitorPort | taosKeeper 服务所监听的端口号，默认值 6043 | |
| monitorInterval | 监控数据库记录系统参数（CPU/内存）的时间间隔，单位是秒，取值范围 1-200000 ，默认值 30 | |
| monitorMaxLogs | 缓存的待上报日志条数 | |
| monitorComp | 是否采用压缩方式上报监控日志时 | |
| monitorLogProtocol | 是否打印监控日志 | |
| monitorForceV2 | 是否使用 V2 版本协议上报 | |
| telemetryReporting | 是否上传 telemetry，0：不上传，1：上传，默认值 1 | |
| telemetryServer | telemetry 服务器地址 | |
| telemetryPort | telemetry 服务器端口编号 | |
| telemetryInterval | telemetry 上传时间间隔，单位为秒，默认 43200 | |
| crashReporting | 是否上传 crash 信息；0：不上传，1：上传；默认值 1 |
查询相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| countAlwaysReturnValue | count/hyperloglog 函数在输入数据为空或者 NULL 的情况下是否返回值；0：返回空行，1：返回；默认值 1；该参数设置为 1 时，如果查询中含有 INTERVAL 子句或者该查询使用了 TSMA 时，且相应的组或窗口内数据为空或者 NULL，对应的组或窗口将不返回查询结果；注意此参数客户端和服务端值应保持一致 | |
| tagFilterCache | 是否缓存标签过滤结果 | |
| maxNumOfDistinctRes | 允许返回的 distinct 结果最大行数，默认值 10 万，最大允许值 1 亿 | |
| queryBufferSize | 暂不生效 | |
| queryRspPolicy | 查询响应策略 | |
| filterScalarMode | 强制使用标量过滤模式，0：关闭；1：开启，默认值 0 | |
| queryPlannerTrace | 内部参数，查询计划是否输出详细日志 | |
| queryNodeChunkSize | 内部参数，查询计划的块大小 | |
| queryUseNodeAllocator | 内部参数，查询计划的分配 方法 | |
| queryMaxConcurrentTables | 内部参数，查询计划的并发数目 | |
| queryRsmaTolerance | 内部参数，用于判定查询哪一级 rsma 数据时的容忍时间，单位为毫秒 | |
| enableQueryHb | 内部参数，是否发送查询心跳消息 | |
| pqSortMemThreshold | 内部参数，排序使用的内存阈值 |
区域相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| timezone | 时区；缺省从系统中动态获取当前的时区设置 | |
| locale | 系统区位信息及编码格式，缺省从系统中获取 | |
| charset | 字符集编码，缺省从系统中获取 |
info
- 为应对多时区的数据写入和查询问题，TDengine 采用 Unix 时间戳(Unix Timestamp)来记录和存储时间戳。Unix 时间戳的特点决定了任一时刻不论在任何时区，产生的时间戳均一致。需要注意的是，Unix 时间戳是在客户端完成转换和记录。为了确保客户端其他形式的时间转换为正确的 Unix 时间戳，需要设置正确的时区。
在 Linux/macOS 中，客户端会自动读取系统设置的时区 信息。用户也可以采用多种方式在配置文件设置时区。例如：
timezone UTC-8
timezone GMT-8
timezone Asia/Shanghai
均是合法的设置东八区时区的格式。但需注意，Windows 下并不支持 timezone Asia/Shanghai 这样的写法，而必须写成 timezone UTC-8。
时区的设置对于查询和写入 SQL 语句中非 Unix 时间戳的内容（时间戳字符串、关键词 now 的解析）产生影响。例如：
SELECT count(*) FROM table_name WHERE TS<'2019-04-11 12:01:08';
在东八区，SQL 语句等效于
SELECT count(*) FROM table_name WHERE TS<1554955268000;
在 UTC 时区，SQL 语句等效于
SELECT count(*) FROM table_name WHERE TS<1554984068000;
为了避免使用字符串时间格式带来的不确定性，也可以直接使用 Unix 时间戳。此外，还可以在 SQL 语句中使用带有时区的时间戳字符串，例如：RFC3339 格式的时间戳字符串，2013-04-12T15:52:01.123+08:00 或者 ISO-8601 格式时间戳字符串 2013-04-12T15:52:01.123+0800。上述两个字符串转化为 Unix 时间戳不受系统所在时区的影响。
- TDengine 为存储中文、日文、韩文等非 ASCII 编码的宽字符，提供一种专门的字段类型 nchar。写入 nchar 字段的数据将统一采用 UCS4-LE 格式进行编码并发送到服务器。需要注意的是，编码正确性是客户端来保证。因此，如果用户想要正常使用 nchar 字段来存储诸如中文、日文、韩文等非 ASCII 字符，需要正确设置客户端的编码格式。
客户端的输入的字符均采用操作系统当前默认的编码格式，在 Linux/macOS 系统上多为 UTF-8，部分中文系统编码则可能是 GB18030 或 GBK 等。在 docker 环境中默认的编码是 POSIX。在中文版 Windows 系统中，编码 则是 CP936。客户端需要确保正确设置自己所使用的字符集，即客户端运行的操作系统当前编码字符集，才能保证 nchar 中的数据正确转换为 UCS4-LE 编码格式。
在 Linux/macOS 中 locale 的命名规则为：<语言>_<地区>.<字符集编码> 如：zh_CN.UTF-8，zh 代表中文，CN 代表大陆地区，UTF-8 表示字符集。字符集编码为客户端正确解析本地字符串提供编码转换的说明。Linux/macOS 可以通过设置 locale 来确定系统的字符编码，由于 Windows 使用的 locale 中不是 POSIX 标准的 locale 格式，因此在 Windows 下需要采用另一个配置参数 charset 来指定字符编码。在 Linux/macOS 中也可以使用 charset 来指定字符编码。
- 如果配置文件中不设置 charset，在 Linux/macOS 中，taos 在启动时候，自动读取系统当前的 locale 信息，并从 locale 信息中解析提取 charset 编码格式。如果自动读取 locale 信息失败，则尝试读取 charset 配置，如果读取 charset 配置也失败，则中断启动过程。
在 Linux/macOS 中，locale 信息包含了字符编码信息，因此正确设置了 Linux/macOS 的 locale 以后可以不用再单独设置 charset。例如：
locale zh_CN.UTF-8
在 Windows 系统中，无法从 locale 获取系统当前编码。如果无法从配置文件中读取字符串编码信息，taos 默认设置为字符编码为 CP936。其等效在配置文件中添加如下配置：
charset CP936
如果需要调整字符编码，请查阅当前操作系统使用的编码，并在配置文件中正确设置。
在 Linux/macOS 中，如果用户同时设置了 locale 和字符集编码 charset，并且 locale 和 charset 的不一致，后设置的值将覆盖前面设置的值。
locale zh_CN.UTF-8
charset GBK
则 charset 的有效值是 GBK。
charset GBK
locale zh_CN.UTF-8
charset 的有效值是 UTF-8。
存储相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| dataDir | 数据文件目录，所有的数据文件都将写入该目录，默认值 /var/lib/taos | |
| tempDir | 指定所有系统运行过程中的临时文件生成的目录，默认值 /tmp | |
| minimalDataDirGB | dataDir 指定的时序数据存储目录所需要保留的最小空间，单位 GB，默认值 2 | |
| minimalTmpDirGB | tempDir 所指定的临时文件目录所需要保留的最小空间，单位 GB，默认值 1 | |
| minDiskFreeSize | 3.1.1.0 后 | 当某块磁盘上的可用空间小于等于这个阈值时，该磁盘将不再被选择用于生成新的数据文件，单位为字节，取值范围 52428800-1073741824，默认值为 52428800；企业版参数 |
| s3MigrateIntervalSec | 3.3.4.3 后 | 本地数据文件自动上传 S3 的触发周期，单位为秒。最小值：600；最大值：100000。默认值 3600；企业版参数 |
| s3MigrateEnabled | 3.3.4.3 后 | 是否自动进行 S3 迁移，默认值为 0，表示关闭自动 S3 迁移，可配置为 1；企业版参数 |
| s3Accesskey | 3.3.4.3 后 | 冒号分隔的用户 SecretId:SecretKey，例如 AKIDsQmwsfKxTo2A6nGVXZN0UlofKn6JRRSJ:lIdoy99ygEacU7iHfogaN2Xq0yumSm1E；企业版参数 |
| s3Endpoint | 3.3.4.3 后 | 用户所在地域的 COS 服务域名，支持 http 和 https，bucket 的区域需要与 endpoint 保持一致，否则无法访问；企业版参数 |
| s3BucketName | 3.3.4.3 后 | 存储桶名称，减号后面是用户注册 COS 服务的 AppId，其中 AppId 是 COS 特有，AWS 和阿里云都没有，配置时需要作为 bucket name 的一部分，使用减号分隔；参数值均为字符串类型，但不需要引号；例如 test0711-1309024725；企业版参数 |
| s3PageCacheSize | 3.3.4.3 后 | S3 page cache 缓存页数目，取值范围 4-1048576，单位为页，默认值 4096；企业版参数 |
| s3UploadDelaySec | 3.3.4.3 后 | data 文件持续多长时间不再变动后上传至 S3，取值范围 1-2592000 (30天），单位为秒，默认值 60；企业版参数 |
| cacheLazyLoadThreshold | 内部参数，缓存的装载策略 |
集群相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| supportVnodes | dnode 支持的最大 vnode 数目，取值范围 0-4096，默认值 CPU 核数的 2 倍 + 5 | |
| numOfCommitThreads | 落盘线程的最大数量，取值范围 0-1024，默认值为 4 | |
| numOfMnodeReadThreads | mnode 的 Read 线程数目，取值范围 0-1024，默认值为 CPU 核数的四分之一（不超过 4） | |
| numOfVnodeQueryThreads | vnode 的 Query 线程数目，取值范围 0-1024，默认值为 CPU 核数的两倍（不超过 16） | |
| numOfVnodeFetchThreads | vnode 的 Fetch 线程数目，取值范围 0-1024，默认值为 CPU 核数的四分之一（不超过 4） | |
| numOfVnodeRsmaThreads | vnode 的 Rsma 线程数目，取值范围 0-1024，默认值为 CPU 核数的四分之一（不超过 4） | |
| numOfQnodeQueryThreads | qnode 的 Query 线程数目，取值范围 0-1024，默认值为 CPU 核数的两倍（不超过 16） | |
| numOfSnodeSharedThreads | snode 的共享线程数目，取值范围 0-1024，默认值为 CPU 核数的四分之一（不小于 2，不超过 4） | |
| numOfSnodeUniqueThreads | snode 的独占线程数目，取值范围 0-1024，默认值为 CPU 核数的四分之一（不小于 2，不超过 4） | |
| ratioOfVnodeStreamThreads | 流计算使用 vnode 线程的比例，取值范围 0.01-4，默认值 4 | |
| ttlUnit | ttl 参数的单位，取值范围 1-31572500，单位为秒，默认值 86400 | |
| ttlPushInterval | ttl 检测超时频率，取值范围 1-100000，单位为秒，默认值 10 | |
| ttlChangeOnWrite | ttl 到期时间是否伴随表的修改操作改变；0：不改变，1：改变；默认值为 0 | |
| ttlBatchDropNum | ttl 一批删除子表的数目，最小值为 0，默认值 10000 | |
| retentionSpeedLimitMB | 数据在不同级别硬盘上迁移时的速度限制，取值范围 0-1024，单位 MB，默认值 0，表示不限制 | |
| maxTsmaNum | 集群内可创建的TSMA个数；取值范围 0-3；默认值 3 | |
| tmqMaxTopicNum | 订阅最多可建立的 topic 数量；取值范围 1-10000；默认值为 20 | |
| tmqRowSize | 订阅数据块的最大记录条数，取值范围 1-1000000，默认值 4096 | |
| audit | 审计功能开关；企业版参数 | |
| auditInterval | 审计数据上报的时间间隔；企业版参数 | |
| auditCreateTable | 是否针对创建子表开启申计功能；企业版参数 | |
| encryptAlgorithm | 数据加密算法；企业版参数 | |
| encryptScope | 加密范围；企业版参数 | |
| enableWhiteList | 白名单功能开关；企业版参数 | |
| syncLogBufferMemoryAllowed | 一个 dnode 允许的 sync 日志缓存消息占用的内存最大值，单位 bytes，取值范围 104857600-INT64_MAX，默认值 服务器内存的 1/10，3.1.3.2/3.3.2.13 版本开始生效 | |
| syncElectInterval | 内部参数，用于同步模块调试 | |
| syncHeartbeatInterval | 内部参数，用于同步模块调试 | |
| syncHeartbeatTimeout | 内部参数，用于同步模块调试 | |
| syncSnapReplMaxWaitN | 内部参数，用于同步模块调试 | |
| syncSnapReplMaxWaitN | 内部参数，用于同步模块调试 | |
| arbHeartBeatIntervalSec | 内部参数，用于同步模块调试 | |
| arbCheckSyncIntervalSec | 内部参数，用于同步模块调试 | |
| arbSetAssignedTimeoutSec | 内部参数，用于同步模块调试 | |
| mndSdbWriteDelta | 内部参数，用于 mnode 模块调试 | |
| mndLogRetention | 内部参数，用于 mnode 模块调试 | |
| skipGrant | 内部参数，用于授权检查 | |
| trimVDbIntervalSec | 内部参数，用于删除过期数据 | |
| ttlFlushThreshold | 内部参数，ttl 定时器的频率 | |
| compactPullupInterval | 内部参数，数据重整定时器的频率 | |
| walFsyncDataSizeLimit | 内部参数，WAL 进行 FSYNC 的阈值 | |
| transPullupInterval | 内部参数，mnode 执行事务的重试间隔 | |
| mqRebalanceInterval | 内部参数，消费者再平衡的时间间隔 | |
| uptimeInterval | 内部参数，用于记录系统启动时间 | |
| timeseriesThreshold | 内部参数，用于统计用量 | |
| udf | 是否启动 UDF 服务；0：不启动，1：启动；默认值为 0 | |
| udfdResFuncs | 内部参数，用于 UDF 结果集设置 | |
| udfdLdLibPath | 内部参数，表示 UDF 装载的库路径 |
流计算参数
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| disableStream | 流计算的启动开关 | |
| streamBufferSize | 控制内存中窗口状态缓存的大小，默认值为 128MB | |
| streamAggCnt | 内部参数，并发进行聚合计算的数目 | |
| checkpointInterval | 内部参数，checkponit 同步间隔 | |
| concurrentCheckpoint | 内部参数，是否并发检查 checkpoint | |
| maxStreamBackendCache | 内部参数，流计算使用的最大缓存 | |
| streamSinkDataRate | 内部参数，用于控制流计算结果的写入速度 |
日志相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| logDir | 日志文件目录，运行日志将写入该目录，默认值 /var/log/taos | |
| minimalLogDirGB | 日志文 件夹所在磁盘可用空间大小小于该值时，停止写日志，单位 GB，默认值 1 | |
| numOfLogLines | 单个日志文件允许的最大行数，默认值 10,000,000 | |
| asyncLog | 日志写入模式，0：同步，1：异步，默认值 1 | |
| logKeepDays | 日志文件的最长保存时间，单位：天，默认值 0，意味着无限保存，日志文件不会被重命名，也不会有新的日志文件滚动产生，但日志文件的内容有可能会不断滚动，取决于日志文件大小的设置；当设置为大于 0 的值时，当日志文件大小达到设置的上限时会被重命名为 taosdlog.yyy，其中 yyy 为日志文件最后修改的时间戳，并滚动产生新的日志文件 | |
| slowLogThreshold | 3.3.3.0 后 | 慢查询门限值，大于等于门限值认为是慢查询，单位秒，默认值 3 |
| slowLogMaxLen | 3.3.3.0 后 | 慢查询日志最大长度，取值范围 1-16384，默认值 4096 |
| slowLogScope | 3.3.3.0 后 | 慢查询记录类型，取值范围 ALL/QUERY/INSERT/OTHERS/NONE，默认值 QUERY |
| slowLogExceptDb | 3.3.3.0 后 | 指定的数据库不上报慢查询，仅支持配置换一个数据库 |
| debugFlag | 运行日志开关，131（输出错误和警告日志），135（输出错误、警告和调试日志），143（输出错误、警告、调试和跟踪日志）；默认值 131 或 135 （取决于不同模块） | |
| tmrDebugFlag | 定时器模块的日志开关，取值范围同上 | |
| uDebugFlag | 共用功能模块的日志开关，取值范围同上 | |
| rpcDebugFlag | rpc 模块的日志开关，取值范围同上 | |
| qDebugFlag | query 模块的日志开关，取值范围同上 | |
| dDebugFlag | dnode 模块的日志开关，取值范围同上 | |
| vDebugFlag | vnode 模块的日志开关，取值范围同上 | |
| mDebugFlag | mnode 模块的日志开关，取值范围同上 | |
| azDebugFlag | 3.3.4.3 后 | S3 模块的日志开关，取值范围同上 |
| sDebugFlag | sync 模块的日志开关，取值范围同上 | |
| tsdbDebugFlag | tsdb 模块的日志开关，取值范围同上 | |
| tqDebugFlag | tq 模块的日志开关，取值范围同上 | |
| fsDebugFlag | fs 模块的日志开关，取值范围同上 | |
| udfDebugFlag | udf 模块的日志开关，取值范围同上 | |
| smaDebugFlag | sma 模块的日志开关，取值范围同上 | |
| idxDebugFlag | index 模块的日志开关，取值范围同上 | |
| tdbDebugFlag | tdb 模块的日志开关，取值范围同上 | |
| metaDebugFlag | meta 模块的日志开关，取值范围同上 | |
| stDebugFlag | stream 模块的日志开关，取值范围同上 | |
| sndDebugFlag | snode 模块的日志开关，取值范围同上 |
调试相关
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| enableCoreFile | crash 时是否生成 core 文件，0：不生成，1：生成；默认值 1 | |
| configDir | 配置文件所在目录 | |
| scriptDir | 内部测试工具的脚本目录 | |
| assert | 断言控制开 关，默认值 0 | |
| randErrorChance | 内部参数，用于随机失败测试 | |
| randErrorDivisor | 内部参数，用于随机失败测试 | |
| randErrorScope | 内部参数，用于随机失败测试 | |
| safetyCheckLevel | 内部参数，用于随机失败测试 | |
| experimental | 内部参数，用于一些实验特性 | |
| simdEnable | 3.3.4.3 后 | 内部参数，用于测试 SIMD 加速 |
| AVX512Enable | 3.3.4.3 后 | 内部参数，用于测试 AVX512 加速 |
| rsyncPort | 内部参数，用于调试流计算 | |
| snodeAddress | 内部参数，用于调试流计算 | |
| checkpointBackupDir | 内部参数，用于恢复 snode 数据 | |
| enableAuditDelete | 内部参数，用于测试审计功能 | |
| slowLogThresholdTest | 内部参数，用于测试慢日志 |
压缩参数
| 参数名称 | 支持版本 | 参数含义 |
|---|---|---|
| fPrecision | 设置 float 类型浮点数压缩精度 ，取值范围 0.1 ~ 0.00000001 ，默认值 0.00000001 , 小于此值的浮点数尾数部分将被截断 | |
| dPrecision | 设置 double 类型浮点数压缩精度 , 取值范围 0.1 ~ 0.0000000000000001 ， 默认值 0.0000000000000001 ， 小于此值的浮点数尾数部分将被截取 | |
| lossyColumn | 3.3.0.0 前 | 对 float 和/或 double 类型启用 TSZ 有损压缩；取值范围 float/double/none；默认值 none，表示关闭无损压缩 |
| ifAdtFse | 在启用 TSZ 有损压缩时，使用 FSE 算法替换 HUFFMAN 算法，FSE 算法压缩速度更快，但解压稍慢，追求压缩速度可选用此算法；0：关闭，1：打开；默认值为 0 | |
| maxRange | 内部参数，用于有损压缩设置 | |
| curRange | 内部参数，用于有损压缩设置 | |
| compressor | 内部参数，用于有损压缩设置 |
补充说明
- 在 3.2.0.0 ~ 3.3.0.0（不包含）版本生效，启用该参数后不能回退到升级前的版本
- TSZ 压缩算法是通过数据预测技术完成的压缩，所以更适合有规律变化的数据
- TSZ 压缩时间会更长一些，如果您的服务器 CPU 空闲多，存储空间小的情况下适合选用
- 示例：对 float 和 double 类型都启用有损压缩
lossyColumns float|double
- 配置需重启服务生效，重启如果在 taosd 日志中看到以下内容，表明配置已生效：
02/22 10:49:27.607990 00002933 UTL lossyColumns float|double
taosd 监控指标
taosd 会将监控指标上报给 taosKeeper，这些监控指标会被 taosKeeper 写入监控数据库，默认是 log 库，可以在 taoskeeper 配置文件中修改。以下是这些监控指标的详细介绍。
taosd_cluster_basic 表
taosd_cluster_basic 表记录集群基础信息。
| field | type | is_tag | comment |
|---|---|---|---|
| ts | TIMESTAMP | timestamp | |
| first_ep | VARCHAR | 集群 first ep | |
| first_ep_dnode_id | INT | 集群 first ep 的 dnode id | |
| cluster_version | VARCHAR | tdengine version。例如：3.0.4.0 | |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_cluster_info 表
taosd_cluster_info 表记录集群信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| cluster_uptime | DOUBLE | 当前 master 节点的uptime。单位：秒 | |
| dbs_total | DOUBLE | database 总数 | |
| tbs_total | DOUBLE | 当前集群 table 总数 | |
| stbs_total | DOUBLE | 当前集群 stable 总数 | |
| dnodes_total | DOUBLE | 当前集群 dnode 总数 | |
| dnodes_alive | DOUBLE | 当前集群 dnode 存活总数 | |
| mnodes_total | DOUBLE | 当前集群 mnode 总数 | |
| mnodes_alive | DOUBLE | 当前集群 mnode 存活总数 | |
| vgroups_total | DOUBLE | 当前集群 vgroup 总数 | |
| vgroups_alive | DOUBLE | 当前集群 vgroup 存活总数 | |
| vnodes_total | DOUBLE | 当前集群 vnode 总数 | |
| vnodes_alive | DOUBLE | 当前集群 vnode 存活总数 | |
| connections_total | DOUBLE | 当前集群连接总数 | |
| topics_total | DOUBLE | 当前集群 topic 总数 | |
| streams_total | DOUBLE | 当前集群 stream 总数 | |
| grants_expire_time | DOUBLE | 认证过期时间，企业版有效，社区版为 DOUBLE 最大值 | |
| grants_timeseries_used | DOUBLE | 已用测点数 | |
| grants_timeseries_total | DOUBLE | 总测点数，开源版本为 DOUBLE 最大值 | |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_vgroups_info 表
taosd_vgroups_info 表记录虚拟节点组信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| tables_num | DOUBLE | vgroup 中 table 数量 | |
| status | DOUBLE | vgroup 状态, 取值范围 unsynced = 0, ready = 1 | |
| vgroup_id | VARCHAR | TAG | vgroup id |
| database_name | VARCHAR | TAG | vgroup 所属的 database 名字 |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_dnodes_info 表
taosd_dnodes_info 记录 dnode 信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| uptime | DOUBLE | dnode uptime，单位：秒 | |
| cpu_engine | DOUBLE | taosd cpu 使用率，从 /proc/<taosd_pid>/stat 读取 | |
| cpu_system | DOUBLE | 服务器 cpu 使用率，从 /proc/stat 读取 | |
| cpu_cores | DOUBLE | 服务器 cpu 核数 | |
| mem_engine | DOUBLE | taosd 内存使用率，从 /proc/<taosd_pid>/status 读取 | |
| mem_free | DOUBLE | 服务器可用内存，单位 KB | |
| mem_total | DOUBLE | 服务器内存总量，单位 KB | |
| disk_used | DOUBLE | data dir 挂载的磁盘使用量，单位 bytes | |
| disk_total | DOUBLE | data dir 挂载的磁盘总容量，单位 bytes | |
| system_net_in | DOUBLE | 网络吞吐率，从 /proc/net/dev 中读取的 received bytes。单位 byte/s | |
| system_net_out | DOUBLE | 网络吞吐率，从 /proc/net/dev 中读取的 transmit bytes。单位 byte/s | |
| io_read | DOUBLE | io 吞吐率，从 /proc/<taosd_pid>/io 中读取的 rchar 与上次数值计算之后，计算得到速度。单位 byte/s | |
| io_write | DOUBLE | io 吞吐率，从 /proc/<taosd_pid>/io 中读取的 wchar 与上次数值计算之后，计算得到速度。单位 byte/s | |
| io_read_disk | DOUBLE | 磁盘 io 吞吐率，从 /proc/<taosd_pid>/io 中读取的 read_bytes。单位 byte/s | |
| io_write_disk | DOUBLE | 磁盘 io 吞吐率，从 /proc/<taosd_pid>/io 中读取的 write_bytes。单位 byte/s | |
| vnodes_num | DOUBLE | dnode 上 vnodes 数量 | |
| masters | DOUBLE | dnode 上 master node 数量 | |
| has_mnode | DOUBLE | dnode 是否包含 mnode，取值范围 包含=1,不包含=0 | |
| has_qnode | DOUBLE | dnode 是否包含 qnode，取值范围 包含=1,不包含=0 | |
| has_snode | DOUBLE | dnode 是否包含 snode，取值范围 包含=1,不包含=0 | |
| has_bnode | DOUBLE | dnode 是否包含 bnode，取值范围 包含=1,不包含=0 | |
| error_log_count | DOUBLE | error 总数 | |
| info_log_count | DOUBLE | info 总数 | |
| debug_log_count | DOUBLE | debug 总数 | |
| trace_log_count | DOUBLE | trace 总数 | |
| dnode_id | VARCHAR | TAG | dnode id |
| dnode_ep | VARCHAR | TAG | dnode endpoint |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_dnodes_status 表
taosd_dnodes_status 表记录 dnode 状态信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| status | DOUBLE | dnode 状态,取值范围 ready=1，offline =0 | |
| dnode_id | VARCHAR | TAG | dnode id |
| dnode_ep | VARCHAR | TAG | dnode endpoint |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_dnodes_log_dir 表
taosd_dnodes_log_dir 表记录 log 目录信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| avail | DOUBLE | log 目录可用空间。单位 byte | |
| used | DOUBLE | log 目录已使用空间。单位 byte | |
| total | DOUBLE | log 目录空间。单位 byte | |
| name | VARCHAR | TAG | log 目录名，一般为 /var/log/taos/ |
| dnode_id | VARCHAR | TAG | dnode id |
| dnode_ep | VARCHAR | TAG | dnode endpoint |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_dnodes_data_dir 表
taosd_dnodes_data_dir 表记录 data 目录信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| avail | DOUBLE | data 目录可用空间。单位 byte | |
| used | DOUBLE | data 目录已使用空间。单位 byte | |
| total | DOUBLE | data 目录空间。单位 byte | |
| level | VARCHAR | TAG | 0、1、2 多级存储级别 |
| name | VARCHAR | TAG | data 目录，一般为 /var/lib/taos |
| dnode_id | VARCHAR | TAG | dnode id |
| dnode_ep | VARCHAR | TAG | dnode endpoint |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_mnodes_info 表
taosd_mnodes_info 表记录 mnode 角色信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| role | DOUBLE | mnode 角色， 取值范围 offline = 0,follower = 100,candidate = 101,leader = 102,error = 103,learner = 104 | |
| mnode_id | VARCHAR | TAG | master node id |
| mnode_ep | VARCHAR | TAG | master node endpoint |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_vnodes_role 表
taosd_vnodes_role 表记录虚拟节点角色信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| vnode_role | DOUBLE | vnode 角色，取值范围 offline = 0,follower = 100,candidate = 101,leader = 102,error = 103,learner = 104 | |
| vgroup_id | VARCHAR | TAG | dnode id |
| dnode_id | VARCHAR | TAG | dnode id |
| database_name | VARCHAR | TAG | vgroup 所属的 database 名字 |
| cluster_id | VARCHAR | TAG | cluster id |
taosd_sql_req 表
taosd_sql_req 记录服务端 sql 请求信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| count | DOUBLE | sql 数量 | |
| result | VARCHAR | TAG | sql的执行结果，取值范围 Success, Failed |
| username | VARCHAR | TAG | 执行sql的user name |
| sql_type | VARCHAR | TAG | sql类型，取值范围 inserted_rows |
| dnode_id | VARCHAR | TAG | dnode id |
| dnode_ep | VARCHAR | TAG | dnode endpoint |
| vgroup_id | VARCHAR | TAG | dnode id |
| cluster_id | VARCHAR | TAG | cluster id |
taos_sql_req 表
taos_sql_req 记录客户端 sql 请求信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| count | DOUBLE | sql 数量 | |
| result | VARCHAR | TAG | sql的执行结果，取值范围 Success, Failed |
| username | VARCHAR | TAG | 执行sql的user name |
| sql_type | VARCHAR | TAG | sql类型，取值范围 select, insert，delete |
| cluster_id | VARCHAR | TAG | cluster id |
taos_slow_sql 表
taos_slow_sql 记录客户端慢查询信息。
| field | type | is_tag | comment |
|---|---|---|---|
| _ts | TIMESTAMP | timestamp | |
| count | DOUBLE | sql 数量 | |
| result | VARCHAR | TAG | sql的执行结果，取值范围 Success, Failed |
| username | VARCHAR | TAG | 执行sql的user name |
| duration | VARCHAR | TAG | sql执行耗时，取值范围 3-10s,10-100s,100-1000s,1000s- |
| cluster_id | VARCHAR | TAG | cluster id |
日志相关
TDengine 通过日志文件记录系统运行状态，帮助用户监控系统运行情况，排查问题，这里主要介绍 taosc 和 taosd 两个系统日志的相关说明。
TDengine 的日志文件主要包括普通日志和慢日志两种类型。
- 普通日志行为说明
-
同一台机器上可以起多个客户端进程，所以客户端日志命名方式为 taoslogX.Y，其中 X 为序号，为空或者 0 到 9，Y 为后缀 0 或者 1。
-
同一台机器上只能有一个服务端进程。所以服务端日志命名方式为 taosdlog.Y，其中 Y 为后缀， 0 或者 1。
序号和后缀确定规则如下（假设日志路径为 /var/log/taos/）：
- 确定序号：使用 10 个序号作为日志命名方式，/var/log/taos/taoslog0.Y - /var/log/taos/taoslog9.Y，依次检测每个序号是否使用，找到第一个没使用的序号作为该进程的日志文件使用的序号。 如果 10 个序号都被进程使用，不使用序号，即 /var/log/taos/taoslog.Y，进程都往相同的文件里写（序号为空）。
- 确定后缀：0 或者 1。比如确定序号为 3，备选的日志文件名就为 /var/log/taos/taoslog3.0 /var/log/taos/taoslog3.1。如果两个文件都不存在用后缀 0，一个存在一个不存在，用存在的后缀。两个都存在，用修改时间最近的那个后缀。
-
如果日志文件超过配置的条数 numOfLogLines，会切换后缀名，继续写日志，比如/var/log/taos/taoslog3.0 写够了，切换到 /var/log/taos/taoslog3.1 继续写日志。/var/log/taos/taoslog3.0 会添加时间戳后缀重命名并压缩存储（异步线程操作）。
-
通过配置 logKeepDays 控制日志文件保存几天，几天之外的日志会被删除。比如配置为 1，则一天之前的日志会在新日志压缩存储时检测删除。不是自然天。
-
系统除了 记录普通日志以外，对于执行时间超过配置时间的 SQL 语句，会被记录到慢日志中。慢日志文件主要用于分析系统性能，排查性能问题。
- 慢日志行为说明
- 慢日志一方面会记录到本地慢日志文件中，另一方面会通过 taosAdapter 发送到 taosKeeper 进行结构化存储（需打开 monitorr 开关）。
- 慢日志文件存储规则为：
- 慢日志文件一天一个，如果当天没有慢日志，没有当天的文件。
- 文件名为 taosSlowLog.yyyy-mm-dd（taosSlowLog.2024-08-02），日志存储路径通过 logDir 配置。
- 多个客户端的日志存储在相应日志路径下的同一个 taosSlowLog.yyyy.mm.dd 文件里。
- 慢日志文件不自动删除，不压缩。
- 使用和普通日志文件相同的三个参数 logDir, minimalLogDirGB, asyncLog。另外两个参数 numOfLogLines，logKeepDays 不适用于慢日志。
