ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

TDengine 3.3.8.8 Release Notes 深度解读:新数据源、流计算增强与 40 项问题修复

TDengine 3.3.8.8 Release Notes 深度解读:新数据源、流计算增强与 40 项问题修复 TDengine 3.3.8.8 Release Notes 深度解读新数据源、流计算增强与 40 项问题修复【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengineTDengine 3.3.8.8 是 TDengine 时序数据库在 2025-12-02 发布的一个补丁版本核心看点是 taosX 数据迁移组件新增 KingHistorian、Pulsar、Tuya 三类数据接入能力同时围绕流计算、WebSocket 连接、查询重试机制、内存占用等方面进行了系统性的增强与修复。本文以官方发布说明为骨架结合仓库源码与配置文档逐条解读新特性、增强项与修复项背后的实际影响帮助你在升级前评估变更、升级后正确使用新能力。版本概览版本号3.3.8.8发布日期2025-12-02变更构成2 项新特性Features、25 项增强Enhancements、40 项修复Fixes版本定位3.3.8.x 系列补丁版本重点解决流计算、虚拟表、taosX 数据迁移中的已知问题并补充连接与查询侧的可用性增强从发布说明看本版本没有新增 SQL 语法或存储引擎级的大特性工作重心放在数据接入能力扩展 运行时稳定性 内存/性能优化三个方向属于典型的成熟期补丁版本。新特性taosX 数据接入能力扩展本版本的两项新特性全部落在 taosXTDengine 官方数据同步/迁移工具上taosX 新增 KingHistorian 数据接入KingHistorian力控工业实时数据库是工业自动化领域常见的历史数据库新增该数据源意味着可以将既有工业历史数据平滑迁移进 TDengine进一步补齐 IIoT工业物联网场景的数据接入版图。taosX 新增 Pulsar 与 Tuya 数据源Apache Pulsar 是云原生消息队列Tuya涂鸦是物联网云平台。二者接入后消息流式数据与 IoT 平台数据可以直连同步到 TDengine。这两项特性与项目定位面向工业物联网场景的高性能时序数据库高度一致均属于数据接入生态的横向扩展。增强项解读25 项增强可以按功能域归为六类下面结合源码与官方配置文档逐类说明。1. 连接与网络WebSocket 连接超时、Rust 读超时C WebSocket 连接器性能优化C 语言的 WebSocket 连接器在 3.3.8.8 中做了性能优化对使用 WebSocket 方式接入的应用如跨语言客户端吞吐与延迟均有改善。c/rust WebSocket 连接支持conn_timeoutC 与 Rust 的 WebSocket 客户端连接现在支持显式指定连接超时时间避免在目标节点不可达时长时间阻塞。Rust WebSocket 连接支持读超时在conn_timeout之外Rust 连接器进一步支持读超时防止网络抖动导致读操作无限期挂起。不可解析/不可达主机名的错误信息增强当主机名无法解析或不可达时错误信息现在会明确指出根因DNS 解析失败还是网络不通降低排查成本。2. SQL 与查询maxSQLLength与统一重试逻辑新增maxSQLLength配置项用于限制单条 SQL 语句的最大长度这是本版本最值得关注的客户端侧配置变更。官方 taosc 配置参考docs/en/12-operations-and-tooling/03-components/02-taosc.md给出的参数信息如下参数支持版本动态修改说明maxSQLLengthv3.3.6.34、v3.3.8.8支持立即生效单条 SQL 语句的最大长度范围 1048576–67108864即 1 MB–64 MB默认值 41943044 MB从源码看该参数在 source/common/src/tglobal.c#L881 中以cfgAddInt32注册作用域为客户端CFG_SCOPE_CLIENT支持动态修改CFG_DYN_CLIENT意味着运行中的客户端进程可以通过配置热更新调整上限。对于需要批量提交超长 SQL如大量 values 拼接的写入语句或超长建表语句的场景可通过该参数放宽限制反之出于安全加固考虑也可调低上限以限制单条语句的资源占用。查询重试逻辑统一使用maxRetryWaitTimes控制此前查询过程中的重试等待时间由多处逻辑分别控制3.3.8.8 将其简化为统一由maxRetryWaitTimes参数约束最大重试时间。仓库中对应的参数为maxRetryWaitTime在 source/common/src/tglobal.c#L801 中注册取值范围 3000–86400000 毫秒默认值 20000 毫秒20 秒属于服务端CFG_SCOPE_SERVER配置修改后需重启生效。升级后建议检查该参数取值确保其与你的查询重试容忍时间匹配。3. 流计算启动提速与过滤缓存提升带历史数据的流启动速度当流计算stream需要先消费历史数据再进入实时计算时启动阶段的数据回溯耗时在 3.3.8.8 中得到优化缩短了从创建流到产出首个结果的时间。支持缓存标签等值条件的过滤结果当流计算中的过滤条件包含标签等值比较如WHERE tag_col x时过滤结果可被缓存复用避免对相同标签重复计算降低 CPU 开销。4. 数据迁移taosX 系列增强数据迁移支持conn_timeouttaosX 在建立到源端/目标端的连接时支持配置连接超时避免源端不可达时长时间挂起。flat stream 内存与速度优化平坦数据流flat stream同步场景的内存占用降低、同步速度提升。归档文件大小与数量限制taosX 归档archive行为新增文件大小与数量的上限约束防止异常场景下归档文件无限增长耗尽磁盘。OpenTSDB 数据接入支持自定义表名从 OpenTSDB 接入数据时可自定义映射到 TDengine 的表名。CSV 批量导入taosX 导入 CSV 文件支持分批导入降低单次内存峰值。支持附加 WHERE 条件的数据迁移迁移任务可附带额外的 WHERE 过滤条件实现按需部分迁移。支持按时间间隔或 SIGHUP 回收内存taosX 新增周期性按时间间隔或通过 SIGHUP 信号触发内存回收的能力便于长期运行任务控制内存水位。移除 opcda 中点的 info 日志降低 OPC DA 数据接入场景的日志噪音。5. TDgpt插值函数支持任意采样间隔TDgpt时序分析组件的插值imputation函数此前对采样间隔有限制3.3.8.8 起支持任意采样间隔使缺失值填充算法可以应用于更不规则的时间序列数据。6. 稳定性与运维active-active 支持启用 WAL marker 以锁定 WAL在主备双活active-active部署形态下新增 WAL marker 机制用于锁定 WAL配合双活数据一致性保障。改进多 vnode 需同步数据场景下的重启恢复速度集群中存在多个 vnode 且需要数据同步时重启后的恢复速度得到提升。改进边界场景内存占用以避免 OOM对若干边界场景下的内存占用进行优化降低 OOM 风险。Docker 镜像新增 vi、ps 等调试命令Docker 镜像内置vi、ps等调试工具便于在容器内直接排查问题。TMQ 支持订阅 TSDB v3.1.x消息队列订阅TMQ现在可以订阅来自 TSDB v3.1.x 版本的数据拓宽了跨版本订阅的兼容面。Explorer 提取列支持链式提取Explorer 的数据提取列可以连续链式执行多次提取操作。修复项深度解析40 项修复按模块归类如下其中流计算与虚拟表相关的修复占比最高建议使用这些功能的用户在升级后重点回归验证。流计算Stream相关修复事件窗口无数据输出时不创建输出表修复了事件窗口在无数据输出时仍创建空输出表的问题。DELETE 触发重算时错误处理 NULL 值流在 DELETE 触发重算过程中对 NULL 值的处理逻辑修正。历史数据触发的状态窗口不支持 extend 参数修复了由历史数据触发的状态窗口state window计算忽略extend参数的问题。3.3.7 升级到 3.3.8 的流兼容性问题修复了跨小版本升级后流计算任务兼容性异常的问题——升级前请确认流任务在升级后能正常重启与续算。数据块边界为 NULL 时状态窗口计算结果错误修复了状态窗口计算中数据块边界值为 NULL 时结果不准确的问题。状态窗口 extend1 且窗口末尾全为空数据时结果错误这是状态窗口 NULL/空数据处理相关的又一边界修复。虚拟表流计算的滑动窗口消息通知缺少子表名修复了虚拟表virtual super table上滑动窗口流计算结果通知中缺失子表名的问题。虚拟表流不按预期触发计算修复了虚拟表上流计算无法按预期触发的问题。重启后流重复上报窗口开启事件修复了流任务重启后重复上报窗口开启事件的问题。虚拟表新增列映射后流无法重启修复了向虚拟表新增列映射后流任务无法重启的问题。引用虚拟表的流存在内存泄漏修复了流中引用虚拟表导致的内存泄漏。虚拟表Virtual Table相关修复虚拟表不支持SELECT DISTINCT TAGS已支持虚拟表的 DISTINCT TAGS 查询。虚拟表不支持SELECT COUNT(1)已支持虚拟表上的 COUNT(1) 查询。子表增删 Schema 后虚拟表查询失败修复了子表 Schema 变更后对应虚拟表查询报错的问题。同步/高可用Sync/HA相关修复双副本 mnode 主备切换失败修复了双副本dual-replicamnode 的 leader 切换失败问题涉及控制面高可用。快照传输期间选举导致死锁修复了同步模块在快照传输过程中发生选举时导致的死锁。同步消息发送失败时内存清理导致崩溃修复了 sync 消息发送失败后的内存清理流程引发的崩溃。taosX 相关修复同步包含额外的不合格表结构修复了数据同步时携带了不符合过滤条件的多余表结构的问题。taosd 出错时归档内存增长与 panic修复了归档流程在 taosd 返回错误时内存增长并 panic 的问题。Schema-only 备份恢复错误修复了仅备份 Schema不含数据场景下的恢复失败问题。意外过滤掉的指标修复了 taosX 指标被意外过滤的问题。InfluxDB 数据源表名与乱序标签不一致修复了 InfluxDB 数据源表名与乱序disorder标签不一致的问题。特殊 OPC-UA 服务器描述属性错误修复了部分特殊 OPC-UA 服务器中描述属性description attribute解析错误。命名空间多选导致错误修复了 OPC-UA 命名空间多选时的报错问题。降低 OpenTSDB 日志文件体积修复了 taosX 中 OpenTSDB 数据源日志过大的问题。其他重要修复taosBenchmark 内存泄漏修复了性能测试工具 taosBenchmark 的内存泄漏问题。RSMA 函数时间戳为负时窗口切分错误修复了 RSMA 函数在负时间戳下的窗口切分错误。UNION 子查询仅含常量 WHERE 条件时结果错误修复了 UNION 查询中某个子查询的 WHERE 仅含常量条件时返回错误结果的问题。DERIVATIVE 函数在含 tbname 列时多返回一行修复了查询包含 tbname 列时 DERIVATIVE 函数多返回一行的问题。MQTT 订阅退出时内存泄漏修复了 MQTT 订阅退出路径上的内存泄漏。Docker 镜像升级后启动失败改 taosd 密码场景修复了 Docker 镜像升级后因 taosd 密码被修改而启动失败的问题影响 3.3.8.0–3.3.8.4 版本——如果你正运行这些版本的 Docker 部署升级到 3.3.8.8 是必要动作。TDgpt Prophet 模型时间分辨率处理错误修复了 Prophet 算法模型的时间分辨率处理错误。Explorer 提取/过滤预览输入错误修复了 Explorer 提取或过滤预览时的输入错误typo 修正。TSDB Lite 下 Explorer 加载缓慢修复了 TSDB Lite 场景下 Explorer 加载慢的问题。查询被 kill 时未返回正确错误码修复了查询被终止kill时客户端无法获得正确错误码的问题。decimal 常量转换精度错误修复了十进制常量类型转换中的精度损失问题。大量 NULL 值时 vnode 恢复失败修复了存在大量 NULL 值时 vnode 恢复失败的问题。ins_filesets 系统表 last_compact 列时间精度错误修复了ins_filesets系统表中last_compact列的时间精度问题。JDK21 下升级 arrow 依赖为适配 JDK21 升级了 arrow 相关依赖。超级表自动建表语句写 BLOB 类型出错修复了通过超级表自动建表auto-create语句写入 BLOB 类型数据报错的问题。升级建议与注意事项结合发布说明与仓库配置文档升级到 3.3.8.8 时有几点需要重点关注流计算用户优先升级本版本对流计算的状态窗口、事件窗口、滑动窗口、重启恢复等路径修复较多若你正在使用流计算并遇到窗口结果异常或重启异常建议尽快升级并回归验证。Docker 部署的 3.3.8.0–3.3.8.4 用户存在 Docker 镜像在修改 taosd 密码后升级启动失败的问题升级到 3.3.8.8 可消除该隐患。关注maxSQLLength新参数默认值为 4 MB若应用存在超长 SQL例如超过 4 MB 的批量写入语句需要在客户端配置中显式调大该值范围上限为 64 MB该参数支持动态修改、立即生效source/common/src/tglobal.c#L881。核对maxRetryWaitTime查询重试逻辑已统一由该参数控制最大重试时间默认 20000 ms范围 3000–86400000 ms属服务端配置、重启生效source/common/src/tglobal.c#L801升级后按需调整。流计算跨版本升级3.3.7 → 3.3.8 的流兼容性问题已修复升级后如遇流任务异常可确认所用版本已包含 3.3.8.8 的修复。参考资料官方发布说明docs/en/17-release-history/03-notes/3.3.8.8.md客户端 taosc 配置参考含maxSQLLengthdocs/en/12-operations-and-tooling/03-components/02-taosc.mdSQL 长度限制说明docs/en/05-tdengine-sql/11-appendix/02-limit.md参数注册源码source/common/src/tglobal.c各版本发布说明索引docs/en/17-release-history/03-notes/index.md【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengine创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表