taosd 参考手册
taosd 是 TDengine 数据库引擎的核心服务,其配置文件默认是 /etc/taos/taos.cfg
但也可以指定不同路径的配置文件。本节详细介绍 taosd 的命令行参数及配置文件中的配置参数。
命令行参数
taosd 命令行参数如下
- -a
<json file>
:指定一个 JSON 文件,其中包含服务启动时的各项配置参数,其格式形如{"fqdn":"td1"}
,关于配置参数的细节请参考下一节 - -c
<directory>
:指定配置文件所在目录 - -s:打印 SDB 信息
- -C: 打印配置信息
- -e: 指定环境变量,其格式形如
-e 'TAOS_FQDN=td1'
- -k: 获取机器码
- -dm: 启用内存调度
- -V: 打印版本信息
配置参数
配置文件参数修改后,需要重启taosd服务,或客户端应用才能生效。
连接相关
参数名称 | 参数说明 |
---|---|
firstEp | taosd 启动时,主动连接的集群中首个 dnode 的 end point,缺省值:localhost:6030 |
secondEp | taosd 启动时,如果 firstEp 连接不上,尝试连接集群中第二个 dnode 的 endpoint,缺省值:无 |
fqdn | 启动 taosd 后所监听的服务地址,缺省值:所在服务器上配置的第一个 hostname |
serverPort | 启动 taosd 后所监听的端口,缺省值:6030 |
numOfRpcSessions | 允许一个客户端能创建的最大连接数,取值范围 100-100000,缺省值:30000 |
timeToGetAvailableConn | 获得可用连接的最长等待时间,取值范围 10-50000000,单位为毫秒,缺省值:500000 |
监控相关
参数名称 | 参数说明 |
---|---|
monitor | 是否收集监控数据并上报,0: 关闭;1:打开;缺省值:0 |
monitorFqdn | taosKeeper 服务所在服务器的 FQDN,缺省值:无 |
monitorPort | taosKeeper 服务所监听的端口号,缺省值:6043 |
monitorInternal | 监控数据库记录系统参数(CPU/内存)的时间间隔,单位是秒,取值范围 1-200000 ,缺省值:30 |
telemetryReporting | 是否上传 telemetry,0: 不上传,1:上传,缺省值:1 |
crashReporting | 是否上传 crash 信息;0: 不上传,1: 上传;缺省值: 1 |
查询相关
参数名称 | 参数说明 |
---|---|
queryPolicy | 查询策略,1: 只使用 vnode,不使用 qnode; 2: 没有扫描算子的子任务在 qnode 执行,带扫描算子的子任务在 vnode 执行; 3: vnode 只运行扫描算子,其余算子均在 qnode 执行 ;4: 使用客户端聚合模式;缺省值:1 |
maxNumOfDistinctRes | 允许返回 的 distinct 结果最大行数,默认值 10 万,最大允许值 1 亿 |
countAlwaysReturnValue | count/hyperloglog函数在输入数据为空或者NULL的情况下是否返回值,0: 返回空行,1: 返回;该参数设置为 1 时,如果查询中含有 INTERVAL 子句或者该查询使用了TSMA时, 且相应的组或窗口内数据为空或者NULL, 对应的组或窗口将不返回查询结果. 注意此参数客户端和服务端值应保持一致. |
区域相关
参数名称 | 参数说明 |
---|---|
timezone | 时区,缺省值:当前服务器所配置的时区 |
locale | 系统区位信息及编码格式 ,缺省值:系统中动态获取,如果自动获取失败,需要用户在配置文件设置或通过 API 设置 |
charset | 字符集编码,缺省值:系统自动获取 |
- 为应对多时区的数据写入和查询问题,TDengine 采用 Unix 时间戳(Unix Timestamp)来记录和存储时间戳。Unix 时间戳的特点决定了任一时刻不论在任何时区,产生的时间戳均一致。需要注意的是,Unix 时间戳是在客户端完成转换和记录。为了确保客户端其他形式的时间转换为正确的 Unix 时间戳,需要设置正确的时区。
在 Linux/macOS 中,客户端会自动读取系统设置的时区信息。用户也可以采用多种方式在配置文件设置时区。例如:
timezone UTC-8
timezone GMT-8
timezone Asia/Shanghai
均是合法的设置东八区时区的格式。但需注意,Windows 下并不支持 timezone Asia/Shanghai
这样的写法,而必须写成 timezone UTC-8
。
时区的设置对于查询和写入 SQL 语句中非 Unix 时间戳的内容(时间戳字符串、关键词 now 的解析)产生影响。例如:
SELECT count(*) FROM table_name WHERE TS<'2019-04-11 12:01:08';
在东八区,SQL 语句等效于
SELECT count(*) FROM table_name WHERE TS<1554955268000;
在 UTC 时区,SQL 语句等效于
SELECT count(*) FROM table_name WHERE TS<1554984068000;
为了避免使用字符串时间格式带来的不确定性,也可以直接使用 Unix 时间戳。此外,还可以在 SQL 语句中使用带有时区的时间戳字符串,例如:RFC3339 格式的时间戳字符串,2013-04-12T15:52:01.123+08:00 或者 ISO-8601 格式时间戳字符串 2013-04-12T15:52:01.123+0800。上述两个字符串转化为 Unix 时间戳不受系统所在时区的影响。
- TDengine 为存储中文、日文、韩文等非 ASCII 编码的宽字符,提供一种专门的字段类型 nchar。写入 nchar 字段的数据将统一采用 UCS4-LE 格式进行编码并发送到服务器。需要注意的是,编码正确性是客户端来保证。因此,如果用户想要正常使用 nchar 字段来存储诸如中文、日文、 韩文等非 ASCII 字符,需要正确设置客户端的编码格式。
客户端的输入的字符均采用操作系统当前默认的编码格式,在 Linux/macOS 系统上多为 UTF-8,部分中文系统编码则可能是 GB18030 或 GBK 等。在 docker 环境中默认的编码是 POSIX。在中文版 Windows 系统中,编码则是 CP936。客户端需要确保正确设置自己所使用的字符集,即客户端运行的操作系统当前编码字符集,才能保证 nchar 中的数据正确转换为 UCS4-LE 编码格式。
在 Linux/macOS 中 locale 的命名规则为: <语言>_<地区>.<字符集编码> 如:zh_CN.UTF-8,zh 代表中文,CN 代表大陆地区,UTF-8 表示字符集。字符集编码为客户端正确解析本地字符串提供编码转换的说明。Linux/macOS 可以通过设置 locale 来确定系统的字符编码,由于 Windows 使用的 locale 中不是 POSIX 标准的 locale 格式,因此在 Windows 下需要采用另一个配置参数 charset 来指定字符编码。在 Linux/macOS 中也可以使用 charset 来指定字符编码。
- 如果配置文件中不设置 charset,在 Linux/macOS 中,taos 在启动时候,自动读取系统当前的 locale 信息,并从 locale 信息中解析提取 charset 编码格式。如果自动读取 locale 信息失败,则尝试读取 charset 配置,如果读取 charset 配置也失败,则中断启动过程。
在 Linux/macOS 中,locale 信息包含了字符编码信息,因此正确设置了 Linux/macOS 的 locale 以后可以不用再单独设置 charset。例如:
locale zh_CN.UTF-8
在 Windows 系统中,无法从 locale 获取系统当前编码。如果无法从配置文件中读取字符串编码信息,taos 默认设置为字符编码为 CP936。其等效在配置文件中添加如下配置:
charset CP936
如果需要调整字符编码,请查阅当前操作系统使用的编码,并在配置文件中正确设置。
在 Linux/macOS 中,如果用户同时设 置了 locale 和字符集编码 charset,并且 locale 和 charset 的不一致,后设置的值将覆盖前面设置的值。
locale zh_CN.UTF-8
charset GBK
则 charset 的有效值是 GBK。
charset GBK
locale zh_CN.UTF-8
charset 的有效值是 UTF-8。
存储相关
参数名称 | 参数说明 |
---|---|
dataDir | 数据文件目录,所有的数据文件都将写入该目录,缺省值:/var/lib/taos |
tempDir | 指定所有系统运行过程中的临时文件生成的目录,缺省值:/tmp |
minimalTmpDirGB | tempDir 所指定的临时文件目录所需要保留的最小空间,单位 GB,缺省值: 1 |
minimalDataDirGB | dataDir 指定的时序数据存储目录所需要保留的最小空间,单位 GB,缺省值: 2 |
集群相关
参数名称 | 参数说明 |
---|---|
supportVnodes | dnode 支持的最大 vnode 数目,取值范围:0-4096,缺省值: CPU 核数的 2 倍 + 5 |
内存相关
参数名称 | 参数说明 |
---|---|
rpcQueueMemoryAllowed | 一个 dnode 允许的 rpc 消息占用的内存最大值,单位 bytes,取值范围:10485760-INT64_MAX,缺省值:服务器内存的 1/10 |
syncLogBufferMemoryAllowed | 一个 dnode 允许的 sync 日志缓存消息占用的内存最大值,单位 bytes,取值范围:10485760-INT64_MAX,缺省值:服务器内存的 1/10,3.1.3.2/3.3.2.13 版本开始生效 |
性能调优
参数名称 | 参数说明 |
---|---|
numOfCommitThreads | 写入线程的最大数量,取值范围 0-1024,缺省值为 4 |
日志相关
参数名称 | 参数说明 |
---|---|
logDir | 日志文件目录,运行日志将写入该目录,缺省值:/var/log/taos |
minimalLogDirGB | 当日志文件夹所在磁盘可用空间大小小于该值时,停止写日志,单位GB,缺省值:1 |
numOfLogLines | 单个日志文件允许的最大行数,缺省值:10,000,000 |
asyncLog | 日志写入模式,0: 同步,1: 异步,缺省值: 1 |
logKeepDays | 日志文件的最长保存时间 ,单位:天,缺省值:0,意味着无限保存,日志文件不会被重命名,也不会有新的日志文件滚动产生,但日志文件的内容有可能会不断滚动,取决于日志文件大小的设置;当设置为大于0 的值时,当日志文件大小达到设置的上限时会被重命名为 taosdlog.xxx,其中 xxx 为日志文件最后修改的时间戳,并滚动产生新的日志文件 |
slowLogThreshold | 慢查询门限值,大于等于门限值认为是慢查询,单位秒,默认值: 3 |
slowLogScope | 定启动记录哪些类型的慢查询,可选值:ALL, QUERY, INSERT, OHTERS, NONE; 默认值:ALL |
debugFlag | 运行日志开关,131(输出错误和警告日志),135(输出错误、警告和调试日志),143(输出错误、警告、调试和跟踪日志); 默认值:131 或 135 (取决于不同模块) |
tmrDebugFlag | 定时器模块的日志开关,取值范围同上 |
uDebugFlag | 共用功能模块的日志开关,取值范围同上 |
rpcDebugFlag | rpc 模块的日志开关,取值范围同上 |
jniDebugFlag | jni 模块的日志开关,取值范围同上 |
qDebugFlag | query 模块的日志开关,取值范围同上 |
dDebugFlag | dnode 模块的日志开关,取值范围同上,缺省值 135 |
vDebugFlag | vnode 模块的日志开关,取值范围同上 |
mDebugFlag | mnode 模块的日志开关,取值范围同上 |
wDebugFlag | wal 模块的日志开关,取值范围同上 |
sDebugFlag | sync 模块的日志开关,取值范围同上 |
tsdbDebugFlag | tsdb 模块的日志开关,取值范围同上 |
tqDebugFlag | tq 模块的日志开关,取值范围同上 |
fsDebugFlag | fs 模块的日志开关,取值范围同上 |
udfDebugFlag | udf 模块的日志开关,取值范围同上 |
smaDebugFlag | sma 模块的日志开关,取值范围同上 |
idxDebugFlag | index 模块的日志开关,取值范围同上 |
tdbDebugFlag | tdb 模块的日志开关,取值范围同上 |