Plan StarRocks cluster

このトピックでは、ノード数、CPUコア数、メモリサイズ、ストレージサイズの観点から、プロダクション環境での StarRocks クラスターのリソース計画について説明します。

ノード数

StarRocks は主に 2 種類のコンポーネントで構成されています: FE ノードと BE ノード。各ノードは物理または仮想マシンに個別にデプロイする必要があります。

FE ノード数

FE ノードは主にメタデータ管理、クライアント接続管理、クエリプランニング、およびクエリスケジューリングを担当します。

プロダクション環境では、単一障害点 (SPOF) を防ぐために、StarRocks クラスターに少なくとも 3 つ の Follower FE ノードをデプロイすることをお勧めします。Leader FE はこれらの 3 つのフォロワーから自動的に選出されます。

StarRocks は Raft プロトコルを使用して FE ノード間のメタデータを管理します。StarRocks はすべての Follower FE ノードから Leader FE ノードを選出します。メタデータを書き込むことができるのは Leader FE ノードのみです。他の Follower FE ノードは、Leader FE ノードからのログに基づいてメタデータを更新するだけです。Leader FE ノードが障害を起こすたびに、StarRocks は Follower FE ノードの半数以上が生存している限り、新しい Leader FE ノードを再選出します。

アプリケーションが高い同時クエリ要求を生成する場合は、Observer FE ノードをクラスターに追加できます。Observer FE ノードはクエリ要求のみを処理し、Leader FE ノードの選出には参加しません。

BE ノード数

BE ノードはデータストレージと SQL 実行を担当します。

プロダクション環境では、データの高い信頼性とサービスの可用性を確保するために、StarRocks クラスターに少なくとも 3 つ の BE ノードをデプロイすることをお勧めします。少なくとも 3 つの BE ノードがデプロイされ、StarRocks クラスターに追加されると、BEs の高可用性クラスターが自動的に形成されます。1 つの BE ノードが障害を起こしても、BE サービス全体の可用性には影響しません。

StarRocks クラスターが高い同時クエリを処理できるようにするために、BE ノードの数を増やすことができます。

CN ノード数

CN ノードは StarRocks のオプションコンポーネントであり、SQL 実行のみを担当します。

StarRocks クラスター内のデータ分布を変更せずに、計算リソースを弾力的にスケールするために CN ノードの数を増やすことができます。

CPU とメモリ

通常、FE サービスは多くの CPU およびメモリリソースを消費しません。各 FE ノードに 8 CPU コアと 16 GB RAM を割り当てることをお勧めします。

FE サービスとは異なり、BE サービスは大規模なデータセットで高い同時クエリや複雑なクエリを処理する場合、CPU およびメモリを大幅に消費する可能性があります。したがって、各 BE ノードに 16 CPU コアと 64 GB RAM を割り当てることをお勧めします。

ストレージ容量

FE ストレージ

FE ノードは StarRocks のメタデータのみをストレージに保持するため、ほとんどのシナリオで各 FE ノードに 100 GB の HDD ストレージで十分です。

BE ストレージ

BE の初期ストレージスペースの見積もり

StarRocks クラスターが必要とする総ストレージスペースは、元のデータサイズ、データレプリカ数、および使用するデータ圧縮アルゴリズムの圧縮率によって同時に影響を受けます。

次の式を使用して、すべての BE ノードに必要な総ストレージスペースを見積もることができます:

Total BE storage space = Raw data size * Replica count/Compression ratio

Raw data size = Sum of the space taken up by all fields in a row * Row count

StarRocks では、テーブル内のデータは最初に複数のパーティションに分割され、その後複数の tablets に分割されます。Tablets は StarRocks におけるデータ管理の基本的な論理単位です。データの高い信頼性を確保するために、各 tablet の複数のレプリカを維持し、異なる BEs に分散して保存することができます。デフォルトでは、StarRocks は 3 つのレプリカを維持します。

現在、StarRocks は 4 つのデータ圧縮アルゴリズムをサポートしており、圧縮率が高い順に zlib、Zstandard (または zstd)、LZ4、および Snappy です。これらは 3:1 から 5:1 の圧縮率を提供できます。

総ストレージスペースを決定した後、クラスター内の BE ノードの数で単純に割ることで、各 BE ノードの平均ストレージスペースを見積もることができます。

必要に応じて追加ストレージを追加

元のデータが増加するにつれて BE ストレージスペースが不足した場合、クラスターを垂直または水平にスケールするか、クラウドストレージを単純にスケールアップすることで補うことができます。

• 新しい BE ノードを StarRocks クラスターに追加

  データをより多くのノードに均等に再分配できるように、StarRocks クラスターに新しい BE ノードを追加できます。詳細な手順については、 Scale your StarRocks cluster - Scale BE out を参照してください。

  新しい BE ノードが追加されると、StarRocks はすべての BE ノード間でデータを自動的に再バランスします。この自動バランスはすべてのテーブルタイプでサポートされています。

• 既存の BE ノードに追加のストレージボリュームを追加

  既存の BE ノードに追加のストレージボリュームを追加することもできます。詳細な手順については、 Scale your StarRocks cluster - Scale BE up を参照してください。

  追加のストレージボリュームが追加されると、StarRocks はすべてのテーブル内のデータを自動的に再バランスします。

• クラウドストレージを追加

  StarRocks クラスターがクラウドにデプロイされている場合、必要に応じてクラウドストレージをスケールアップできます。詳細な手順については、クラウドプロバイダーにお問い合わせください。