StarRocks version 4.0
4.0.0-RC
发布日期:2025 年 9 月 9 日
数据湖分析
- 统一了 BE 元数据的 Page Cache 和 Data Cache,并采用自适应策略进行扩展。#61640
- 优化了 Iceberg 统计信息的元数据文件解析,避免重复解析。#59955
- 优化了针对 Iceberg 元数据的 COUNT/MIN/MAX 查询,通过有效跳过数据文件扫描,显著提升了大分区表的聚合查询性能并减少资源消耗。#60385
- 支持通过 Procedure
rewrite_data_files
对 Iceberg 表进行 Compaction。 - 支持带有隐藏分区(Hidden Partition)的 Iceberg 表,包括建表、写入和读取。#58914
- 支持 Paimon Catalog 中的 TIME 数据类型。#58292
安全与认证
- 在使用 JWT 认证和 Iceberg REST Catalog 的场景下,StarRocks 支持通过 REST Session Catalog 将用户登录信息透传到 Iceberg,用于后续数据访问认证。#59611 #58850
- Iceberg Catalog 支持 Vended Credential。
存储优化与集群管理
- 为存算分离集群中的云原生表引入了文件捆绑(File Bundling)优化,自动捆绑由导入、Compaction 或 Publish 操作生成的数据文件,从而减少因高频访问外部存储系统带来的 API 成本。#58316
- Routine Load 支持 Kafka 4.0。
- 支持在存算一体集群的主键表上使用全文倒排索引。
- 支持对 Catalog、Database、Table、View 和物化视图的名称启用大小写不敏感处理。#61136
- 支持在存算分离集群中对 Compute Node 进行黑名单管理。#60830
- 支持全局连接 ID。#57256
查询与性能优化
- 支持 DECIMAL256 数据类型,将精度上限从 38 扩展到 76 位。其 256 位存储可以更好地适应高精度金融与科学计算场景,有效缓解 DECIMAL128 在超大规模聚合与高阶运算中的精度溢出问题。#59645
- 优化了 JOIN 与 AGG 算子性能。#61691
- [Preview] 引入 SQL Plan Manager,允许用户将查询与查询计划绑定,避免因系统状态变化(如数据更新、统计信息更新)导致查询计划变更,从而稳定查询性能。#56310
- 引入 Partition-wise Spillable Aggregate/Distinct 算子,替代原有基于排序型聚合的 Spill 实现,大幅提升复杂和高基数 GROUP BY 场景下的聚合性能,并降低读写开销。#60216
- Flat JSON V2:
- 为 STRING 数据类型支持自适应 ZoneMap 索引创建策略。#61960