Google Cloud Storage への認証

認証方法

v3.0以降、StarRocks は Google Cloud Storage (GCS) にアクセスするために、以下の認証方法のいずれかをサポートしています。

• VM ベースの認証

  Google Cloud Compute Engine にアタッチされたクレデンシャルを使用して GCS を認証します。

• サービスアカウントベースの認証

  サービスアカウントを使用して GCS を認証します。

• なりすましベースの認証

  サービスアカウントまたは仮想マシン (VM) インスタンスを他のサービスアカウントになりすまさせます。

シナリオ

StarRocks は以下のシナリオで GCS に認証できます。

• GCS からデータをバッチロードする。
• GCS からデータをバックアップし、GCS にデータを復元する。
• GCS 内の Parquet および ORC ファイルをクエリする。
• GCS 内の Hive、Iceberg、Hudi、および Delta Lake テーブルをクエリする。

このトピックでは、Hive catalog、file external table、および Broker Load を例として、StarRocks が異なるシナリオで GCS と統合する方法を示します。例中の StorageCredentialParams に関する情報は、このトピックの「Parameters」セクションを参照してください。

注意

StarRocks は、gs プロトコルに従ってのみ GCS からデータをロードしたり、ファイルを直接クエリしたりすることをサポートしています。したがって、GCS からデータをロードしたりファイルをクエリしたりする場合は、ファイルパスに gs をプレフィックスとして含める必要があります。

External catalog

GCS からファイルをクエリするために、hive_catalog_gcs という名前の Hive catalog を作成するには、CREATE EXTERNAL CATALOG ステートメントを使用します。

CREATE EXTERNAL CATALOG hive_catalog_gcs
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    StorageCredentialParams
);

File external table

GCS からメタストアなしで test_file_external_tbl という名前のデータファイルをクエリするために、external_table_gcs という名前のファイル外部テーブルを作成するには、CREATE EXTERNAL TABLE ステートメントを使用します。

CREATE EXTERNAL TABLE external_table_gcs
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "gs:////test-gcs/test_file_external_tbl",
    "format" = "ORC",
    StorageCredentialParams
);

Broker load

GCS から StarRocks テーブル target_table にデータをバッチロードするために、ラベルが test_db.label000 の Broker Load ジョブを作成するには、LOAD LABEL ステートメントを使用します。

LOAD LABEL test_db.label000
(
    DATA INFILE("gs://bucket_gcs/test_brokerload_ingestion/*")
    INTO TABLE target_table
    FORMAT AS "parquet"
)
WITH BROKER
(
    StorageCredentialParams
);

Parameters

StorageCredentialParams は、異なる認証方法で GCS に認証する方法を説明するパラメータセットを表します。

VM ベースの認証

StarRocks クラスターが Google Cloud Platform (GCP) 上でホストされている VM インスタンスにデプロイされており、その VM インスタンスを使用して GCS を認証したい場合、StorageCredentialParams を以下のように設定します。

"gcp.gcs.use_compute_engine_service_account" = "true"

以下の表は、StorageCredentialParams で設定する必要があるパラメータを説明しています。

Parameter	Default value	Value example	Description
gcp.gcs.use_compute_engine_service_account	false	true	Compute Engine にバインドされているサービスアカウントを直接使用するかどうかを指定します。

サービスアカウントベースの認証

サービスアカウントを直接使用して GCS を認証する場合、StorageCredentialParams を以下のように設定します。

"gcp.gcs.service_account_email" = "<google_service_account_email>",
"gcp.gcs.service_account_private_key_id" = "<google_service_private_key_id>",
"gcp.gcs.service_account_private_key" = "<google_service_private_key>"

以下の表は、StorageCredentialParams で設定する必要があるパラメータを説明しています。

Parameter	Default value	Value example	Description
gcp.gcs.service_account_email	""	"user@hello.iam.gserviceaccount.com"	サービスアカウントの作成時に生成された JSON ファイル内のメールアドレス。
gcp.gcs.service_account_private_key_id	""	"61d257bd8479547cb3e04f0b9b6b9ca07af3b7ea"	サービスアカウントの作成時に生成された JSON ファイル内の秘密鍵 ID。
gcp.gcs.service_account_private_key	""	"-----BEGIN PRIVATE KEY----xxxx-----END PRIVATE KEY-----\n"	サービスアカウントの作成時に生成された JSON ファイル内の秘密鍵。

なりすましベースの認証

VM インスタンスをサービスアカウントになりすまさせる

StarRocks クラスターが GCP 上でホストされている VM インスタンスにデプロイされており、その VM インスタンスをサービスアカウントになりすまさせ、StarRocks がそのサービスアカウントからの権限を継承して GCS にアクセスする場合、StorageCredentialParams を以下のように設定します。

"gcp.gcs.use_compute_engine_service_account" = "true",
"gcp.gcs.impersonation_service_account" = "<assumed_google_service_account_email>"

以下の表は、StorageCredentialParams で設定する必要があるパラメータを説明しています。

Parameter	Default value	Value example	Description
gcp.gcs.use_compute_engine_service_account	false	true	Compute Engine にバインドされているサービスアカウントを直接使用するかどうかを指定します。
gcp.gcs.impersonation_service_account	""	"hello"	なりすましを行いたいサービスアカウント。

サービスアカウントを他のサービスアカウントになりすまさせる

サービスアカウント（仮にメタサービスアカウントと呼ぶ）を他のサービスアカウント（仮にデータサービスアカウントと呼ぶ）になりすまさせ、StarRocks がデータサービスアカウントからの権限を継承して GCS にアクセスする場合、StorageCredentialParams を以下のように設定します。

"gcp.gcs.service_account_email" = "<google_service_account_email>",
"gcp.gcs.service_account_private_key_id" = "<meta_google_service_account_email>",
"gcp.gcs.service_account_private_key" = "<meta_google_service_account_email>",
"gcp.gcs.impersonation_service_account" = "<data_google_service_account_email>"

以下の表は、StorageCredentialParams で設定する必要があるパラメータを説明しています。

Parameter	Default value	Value example	Description
gcp.gcs.service_account_email	""	"user@hello.iam.gserviceaccount.com"	メタサービスアカウントの作成時に生成された JSON ファイル内のメールアドレス。
gcp.gcs.service_account_private_key_id	""	"61d257bd8479547cb3e04f0b9b6b9ca07af3b7ea"	メタサービスアカウントの作成時に生成された JSON ファイル内の秘密鍵 ID。
gcp.gcs.service_account_private_key	""	"-----BEGIN PRIVATE KEY----xxxx-----END PRIVATE KEY-----\n"	メタサービスアカウントの作成時に生成された JSON ファイル内の秘密鍵。
gcp.gcs.impersonation_service_account	""	"hello"	なりすましを行いたいデータサービスアカウント。