Sorted streaming aggregate

データベースシステムにおける一般的な集計方法には、ハッシュ集計とソート集計があります。

バージョン 2.5 以降、StarRocks は sorted streaming aggregate をサポートしています。

動作原理

集計ノード (AGG) は主に GROUP BY と集計関数を処理する役割を担っています。

Sorted streaming aggregate は、ハッシュテーブルを作成することなく、キーの順序に従って GROUP BY キーを比較することでデータをグループ化します。これにより、集計に消費されるメモリリソースが効果的に削減されます。高い集計カーディナリティを持つクエリに対して、sorted streaming aggregate は集計パフォーマンスを向上させ、メモリ使用量を削減します。

次の変数を設定することで、sorted streaming aggregate を有効にできます。

set enable_sort_aggregate=true;

制限事項

• StarRocks 共有データクラスタは、sorted streaming aggregate をサポートしていません。
• GROUP BY のキーには順序が必要です。例えば、ソートキーが k1, k2, k3 の場合:
  • GROUP BY k1 および GROUP BY k1, k2 は許可されます。
  • GROUP BY k1, k3 はソートキーの順序に従っていません。したがって、このような句には sorted streaming aggregate は適用されません。
• 選択されたパーティションは単一のパーティションでなければなりません（同じキーが異なるパーティションの異なるマシンに分散される可能性があるため）。
• GROUP BY のキーは、テーブル作成時に指定されたバケットキーと同じ分布でなければなりません。例えば、テーブルに k1, k2, k3 の3つの列がある場合、バケットキーは k1 または k1, k2 になり得ます。
  • バケットキーが k1 の場合、GROUP BY キーは k1, k1, k2, または k1, k2, k3 になり得ます。
  • バケットキーが k1, k2 の場合、GROUP BY キーは k1, k2 または k1, k2, k3 になり得ます。
  • クエリプランがこの要件を満たさない場合、この機能が有効になっていても、sorted streaming aggregate 機能は適用されません。
• Sorted streaming aggregate は、最初の段階の集計（つまり、AGG ノードの下に Scan ノードが1つだけある場合）にのみ機能します。

例

1. テーブルを作成し、データを挿入します。

   CREATE TABLE `test_sorted_streaming_agg_basic`
   (
       `id_int` int(11) NOT NULL COMMENT "",
       `id_string` varchar(100) NOT NULL COMMENT ""
   ) 
   ENGINE=OLAP 
   DUPLICATE KEY(`id_int`)COMMENT "OLAP"
   DISTRIBUTED BY HASH(`id_int`)
   PROPERTIES
   ("replication_num" = "3"); 
   
   INSERT INTO test_sorted_streaming_agg_basic VALUES
   (1, 'v1'),
   (2, 'v2'),
   (3, 'v3'),
   (1, 'v4');

2. Sorted streaming aggregate を有効にし、EXPLAIN を使用して SQL プロファイルをクエリします。

   set enable_sort_aggregate = true;
   
   explain costs select id_int, max(id_string)
   from test_sorted_streaming_agg_basic
   group by id_int;

Sorted streaming aggregate が有効かどうかを確認する

EXPLAIN costs の結果を確認します。AGG ノードの sorted streaming フィールドが true であれば、この機能は有効です。

|                                                                                                                                    |
|   1:AGGREGATE (update finalize)                                                                                                    |
|   |  aggregate: max[([2: id_string, VARCHAR, false]); args: VARCHAR; result: VARCHAR; args nullable: false; result nullable: true] |
|   |  group by: [1: id_int, INT, false]                                                                                             |
|   |  sorted streaming: true                                                                                                        |
|   |  cardinality: 1                                                                                                                |
|   |  column statistics:                                                                                                            |
|   |  * id_int-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                       |
|   |  * max-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                          |
|   |                                                                                                                                |
|   0:OlapScanNode                                                                                                                   |
|      table: test_sorted_streaming_agg_basic, rollup: test_sorted_streaming_agg_basic                                               |
|      preAggregation: on                                                                                                            |
|      partitionsRatio=1/1, tabletsRatio=10/10                                                                                       |
|      tabletList=30672,30674,30676,30678,30680,30682,30684,30686,30688,30690                                                        |
|      actualRows=0, avgRowSize=2.0                                                                                                  |
|      cardinality: 1                                                                                                                |
|      column statistics:                                                                                                            |
|      * id_int-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                       |
|      * id_string-->[-Infinity, Infinity, 0.0, 1.0, 1.0] UNKNOWN                                                                    |