AUTO_INCREMENT
バージョン 3.0 以降、StarRocks は AUTO_INCREMENT 列属性をサポートしており、データ管理を簡素化できます。このトピックでは、AUTO_INCREMENT 列属性の適用シナリオ、使用法、および機能について紹介します。
概要
新しいデータ行がテーブルにロードされ、AUTO_INCREMENT 列の値が指定されていない場合、StarRocks はその行の AUTO_INCREMENT 列に対してテーブル全体で一意の ID として整数値を自動的に割り当てます。AUTO_INCREMENT 列の後続の値は、その行の ID から特定のステップで自動的に増加します。AUTO_INCREMENT 列はデータ管理を簡素化し、一部のクエリを高速化するために使用できます。以下は AUTO_INCREMENT 列の適用シナリオです。
- 主キーとして使用:
AUTO_INCREMENT列は主キーとして使用でき、各行に一意の ID を持たせ、データのクエリと管理を容易にします。 - テーブルのジョイン: 複数のテーブルがジョインされる場合、
AUTO_INCREMENT列をジョインキーとして使用すること で、例えば UUID のような STRING 型の列を使用するよりもクエリを高速化できます。 - 高カーディナリティ列の異なる値の数をカウント:
AUTO_INCREMENT列を辞書内の一意の値列として使用できます。異なる STRING 値を直接カウントするのに比べ、AUTO_INCREMENT列の異なる整数値をカウントすることで、クエリ速度が数倍、あるいは数十倍向上することがあります。
AUTO_INCREMENT 列を CREATE TABLE ステートメントで指定する必要があります。AUTO_INCREMENT 列のデータ型は BIGINT でなければなりません。AUTO_INCREMENT 列の値は 暗黙的に割り当てられるか、明示的に指定される ことができます。1 から始まり、新しい行ごとに 1 ずつ増加します。
基本操作
テーブル作成時に AUTO_INCREMENT 列を指定
id と number の 2 つの列を持つ test_tbl1 という名前のテーブルを作成します。number 列を AUTO_INCREMENT 列として指定します。
CREATE TABLE test_tbl1
(
id BIGINT NOT NULL,
number BIGINT NOT NULL AUTO_INCREMENT
)
PRIMARY KEY (id)
DISTRIBUTED BY HASH(id)
PROPERTIES("replicated_storage" = "true");
AUTO_INCREMENT 列の値を割り当てる
暗黙的に値を割り当てる
StarRocks テーブルにデータをロードする際、AUTO_INCREMENT 列の値を指定する必要はありません。StarRocks はその列に対して一意の整数値を自動的に割り当て、テーブルに挿入します。
INSERT INTO test_tbl1 (id) VALUES (1);
INSERT INTO test_tbl1 (id) VALUES (2);
INSERT INTO test_tbl1 (id) VALUES (3),(4),(5);
テーブル内のデータを表示します。
mysql > SELECT * FROM test_tbl1 ORDER BY id;
+------+--------+
| id | number |
+------+--------+
| 1 | 1 |
| 2 | 2 |
| 3 | 3 |
| 4 | 4 |
| 5 | 5 |
+------+--------+
5 rows in set (0.02 sec)
StarRocks テーブルにデータをロードする際、AUTO_INCREMENT 列の値を DEFAULT として指定することもできます。StarRocks はその列に対して一意の整数値を自動的に割り当て、テーブルに挿入します。
INSERT INTO test_tbl1 (id, number) VALUES (6, DEFAULT);
テーブル内のデータを表示します。
mysql > SELECT * FROM test_tbl1 ORDER BY id;
+------+--------+
| id | number |
+------+--------+
| 1 | 1 |
| 2 | 2 |
| 3 | 3 |
| 4 | 4 |
| 5 | 5 |
| 6 | 6 |
+------+--------+
6 rows in set (0.02 sec)
実際の使用では、テーブル内のデータを表示したときに次の結果が返されることがあります。これは、StarRocks が AUTO_INCREMENT 列の値が厳密に単調であることを保証できないためです。しかし、StarRocks は値が概ね時系列順に増加することを保証できます。詳細は Monotonicity を参照してください。
mysql > SELECT * FROM test_tbl1 ORDER BY id;
+------+--------+
| id | number |
+------+--------+
| 1 | 1 |
| 2 | 100001 |
| 3 | 200001 |
| 4 | 200002 |
| 5 | 200003 |
| 6 | 200004 |
+------+--------+
6 rows in set (0.01 sec)
明示的に値を指定する
AUTO_INCREMENT 列の値を明示的に指定してテーブルに挿入することもできます。
INSERT INTO test_tbl1 (id, number) VALUES (7, 100);
-- テーブル内のデータを表示します。
mysql > SELECT * FROM test_tbl1 ORDER BY id;
+------+--------+
| id | number |
+------+--------+
| 1 | 1 |
| 2 | 100001 |
| 3 | 200001 |
| 4 | 200002 |
| 5 | 200003 |
| 6 | 200004 |
| 7 | 100 |
+------+--------+
7 rows in set (0.01 sec)
さらに、明示的に値を指定しても、新しく挿入されたデータ行に対して StarRocks が生成する後続の値には影響しません。
INSERT INTO test_tbl1 (id) VALUES (8);
-- テーブル内のデータを表示します。
mysql > SELECT * FROM test_tbl1 ORDER BY id;
+------+--------+
| id | number |
+------+--------+
| 1 | 1 |
| 2 | 100001 |
| 3 | 200001 |
| 4 | 200002 |
| 5 | 200003 |
| 6 | 200004 |
| 7 | 100 |
| 8 | 2 |
+------+--------+
8 rows in set (0.01 sec)
注意
AUTO_INCREMENT 列に対して暗黙的に割り当てられた値と明示的に指定された値を同時に使用しないことをお勧めします。指定された値が StarRocks によって生成された値と同じになる可能性があり、自動増分 ID のグローバル一意性 を破る可能性があるためです。
基本機能
一意性
一般に、StarRocks は AUTO_INCREMENT 列の値がテーブル全体でグローバルに一意であることを保証します。AUTO_INCREMENT 列に対して暗黙的に割り当てられた値と明示的に指定された値を同時に使用しないことをお勧めします。そうしないと、自動増分 ID のグローバル一意性が破られる可能性があります。ここに簡単な例があります。id と number の 2 つの列を持つ test_tbl2 という名前のテーブルを作成し、number 列を AUTO_INCREMENT 列として指定します。
CREATE TABLE test_tbl2
(
id BIGINT NOT NULL,
number BIGINT NOT NULL AUTO_INCREMENT
)
PRIMARY KEY (id)
DISTRIBUTED BY HASH(id)
PROPERTIES("replicated_storage" = "true");
テーブル test_tbl2 の AUTO_INCREMENT 列 number に対して暗黙的に割り当てられた値と明示的に指定された値を使用します。
INSERT INTO test_tbl2 (id, number) VALUES (1, DEFAULT);
INSERT INTO test_tbl2 (id, number) VALUES (2, 2);
INSERT INTO test_tbl2 (id) VALUES (3);
テーブル test_tbl2 をクエリします。
mysql > SELECT * FROM test_tbl2 ORDER BY id;
+------+--------+
| id | number |
+------+--------+
| 1 | 1 |
| 2 | 2 |
| 3 | 100001 |
+------+--------+
3 rows in set (0.08 sec)
単調性
自動増分 ID の割り当てパフォーマンスを向上させるために、BEs は一部の自動増分 ID をローカルにキャッシュします。この状況では、StarRocks は AUTO_INCREMENT 列の値が厳密に単調であることを保証できません。値が概ね時系列順に増加することのみを保証できます。
注意
BEs によってキャッシュされる自動増分 ID の数は、FE の動的パラメータ
auto_increment_cache_sizeによって決定され、デフォルトでは100,000です。ADMIN SET FRONTEND CONFIG ("auto_increment_cache_size" = "xxx");を使用して値を変更できます。
例えば、StarRocks クラスターには 1 つの FE ノードと 2 つの BE ノードがあります。test_tbl3 という名前のテーブルを作成し、次のように 5 行のデータを挿入します。
CREATE TABLE test_tbl3
(
id BIGINT NOT NULL,
number BIGINT NOT NULL AUTO_INCREMENT
)
PRIMARY KEY (id)
DISTRIBUTED BY HASH(id)
PROPERTIES("replicated_storage" = "true");
INSERT INTO test_tbl3 VALUES (1, DEFAULT);
INSERT INTO test_tbl3 VALUES (2, DEFAULT);
INSERT INTO test_tbl3 VALUES (3, DEFAULT);
INSERT INTO test_tbl3 VALUES (4, DEFAULT);
INSERT INTO test_tbl3 VALUES (5, DEFAULT);
テーブル test_tbl3 の自動増分 ID は単調に増加しません。これは、2 つの BE ノードがそれぞれ自動増分 ID をキャッシュしているためです。[1, 100000] および [100001, 200000]。データが複数の INSERT ステートメントを使用してロードされると、データは異なる BE ノードに送信され、それぞれが独立して自動増分 ID を割り当て ます。したがって、自動増分 ID が厳密に単調であることは保証できません。
mysql > SELECT * FROM test_tbl3 ORDER BY id;
+------+--------+
| id | number |
+------+--------+
| 1 | 1 |
| 2 | 100001 |
| 3 | 200001 |
| 4 | 2 |
| 5 | 100002 |
+------+--------+
5 rows in set (0.07 sec)
部分更新と AUTO_INCREMENT 列
このセクションでは、AUTO_INCREMENT 列を含むテーブルで指定された一部の列のみを更新する方法について説明します。
注意
現在、部分更新をサポートしているのは主キーテーブルのみです。
AUTO_INCREMENT 列が主キーの場合
部分更新中に主キーを指定する必要があります。したがって、AUTO_INCREMENT 列が主キーまたは主キーの一部である場合、部分更新におけるユーザーの動作は、AUTO_INCREMENT 列が定義されていない場合とまったく同じです。
-
データベース
example_dbにテーブルtest_tbl4を作成し、1 行のデータを挿入します。-- テーブルを作成します。
CREATE TABLE test_tbl4
(
id BIGINT AUTO_INCREMENT,
name BIGINT NOT NULL,
job1 BIGINT NOT NULL,
job2 BIGINT NOT NULL
)
PRIMARY KEY (id, name)
DISTRIBUTED BY HASH(id)
PROPERTIES("replicated_storage" = "true");
-- データを準備します。
mysql > INSERT INTO test_tbl4 (id, name, job1, job2) VALUES (0, 0, 1, 1);
Query OK, 1 row affected (0.04 sec)
{'label':'insert_6af28e77-7d2b-11ed-af6e-02424283676b', 'status':'VISIBLE', 'txnId':'152'}
-- テーブルをクエリします。
mysql > SELECT * FROM test_tbl4 ORDER BY id;
+------+------+------+------+
| id | name | job1 | job2 |
+------+------+------+------+
| 0 | 0 | 1 | 1 |
+------+------+------+------+
1 row in set (0.01 sec) -
テーブル
test_tbl4を更新するための CSV ファイル my_data4.csv を準備します。CSV ファイルにはAUTO_INCREMENT列の値が含まれており、job1列の値は含まれていません。最初の行の主キーはすでにテーブルtest_tbl4に存在しますが、2 番目の行の主キーはテーブルに存在しません。0,0,99
1,1,99 -
Stream Load ジョブを実行し、CSV ファイルを使用してテーブル
test_tbl4を更新します。curl --location-trusted -u <username>:<password> -H "label:1" \
-H "column_separator:," \
-H "partial_update:true" \
-H "columns:id,name,job2" \
-T my_data4.csv -XPUT \
http://<fe_host>:<fe_http_port>/api/example_db/test_tbl4/_stream_load -
更新されたテーブルをクエリします。最初の行のデータはすでにテーブル
test_tbl4に存在し、job1列の値は変更されません。2 番目の行のデータは新たに挿入され、job1列のデフォルト値が指定されていないため、部分更新フレームワークはこの列の値を直接0に設定します。mysql > SELECT * FROM test_tbl4 ORDER BY id;
+------+------+------+------+
| id | name | job1 | job2 |
+------+------+------+------+
| 0 | 0 | 1 | 99 |
| 1 | 1 | 0 | 99 |
+------+------+------+------+
2 rows in set (0.01 sec)
AUTO_INCREMENT 列が主キーでない場合
AUTO_INCREMENT 列が主キーまたは主キーの一部でない場合、かつ自動増分 ID が Stream Load ジョブで提供されていない場合、次の状況が発生します。
- 行がすでにテーブルに存在する場合、StarRocks は自動増分 ID を更新しません。
- 行が新たにテーブルにロードされた場合、StarRocks は新しい自動増分 ID を生成します。
この機能は、異なる STRING 値を迅速に計算するための辞書テーブルを構築するために使用できます。
-
データベース
example_dbにテーブルtest_tbl5を作成し、job1列をAUTO_INCREMENT列として指定し、テーブルtest_tbl5にデータ行を挿入します。-- テーブルを作成します。
CREATE TABLE test_tbl5
(
id BIGINT NOT NULL,
name BIGINT NOT NULL,
job1 BIGINT NOT NULL AUTO_INCREMENT,
job2 BIGINT NOT NULL
)
PRIMARY KEY (id, name)
DISTRIBUTED BY HASH(id)
PROPERTIES("replicated_storage" = "true");
-- データを準備します。
mysql > INSERT INTO test_tbl5 VALUES (0, 0, -1, -1);
Query OK, 1 row affected (0.04 sec)
{'label':'insert_458d9487-80f6-11ed-ae56-aa528ccd0ebf', 'status':'VISIBLE', 'txnId':'94'}
-- テーブルをクエリします。
mysql > SELECT * FROM test_tbl5 ORDER BY id;
+------+------+------+------+
| id | name | job1 | job2 |
+------+------+------+------+
| 0 | 0 | -1 | -1 |
+------+------+------+------+
1 row in set (0.01 sec) -
テーブル
test_tbl5を更新するための CSV ファイル my_data5.csv を準備します。CSV ファイルにはAUTO_INCREMENT列job1の値が含まれていません。最初の行の主キーはすでにテーブルに存在しますが、2 番目と 3 番目の行の主キーは存在しません。0,0,99
1,1,99
2,2,99 -
Stream Load ジョブを実行し、CSV ファイルからテーブル
test_tbl5にデータをロードします。curl --location-trusted -u <username>:<password> -H "label:2" \
-H "column_separator:," \
-H "partial_update:true" \
-H "columns: id,name,job2" \
-T my_data5.csv -XPUT \
http://<fe_host>:<fe_http_port>/api/example_db/test_tbl5/_stream_load -
更新されたテーブルをクエリします。最初の行のデータはすでにテーブル
test_tbl5に存在するため、AUTO_INCREMENT列job1は元の値を保持します 。2 番目と 3 番目の行のデータは新たに挿入されるため、StarRocks はAUTO_INCREMENT列job1に新しい値を生成します。mysql > SELECT * FROM test_tbl5 ORDER BY id;
+------+------+--------+------+
| id | name | job1 | job2 |
+------+------+--------+------+
| 0 | 0 | -1 | 99 |
| 1 | 1 | 1 | 99 |
| 2 | 2 | 100001 | 99 |
+------+------+--------+------+
3 rows in set (0.01 sec)
制限事項
-
AUTO_INCREMENT列を持つテーブルを作成する際、すべてのレプリカが同じ自動増分 ID を持つことを保証するために'replicated_storage' = 'true'を設定する必要があります。 -
各テーブルには 1 つの
AUTO_INCREMENT列しか持てません。 -
AUTO_INCREMENT列のデータ型は BIGINT でなければなりません。 -
AUTO_INCREMENT列はNOT NULLであり、デフォルト値を持たない必要があります。 -
AUTO_INCREMENT列を持つ主キーテーブルからデータを削除することができます。ただし、AUTO_INCREMENT列が主キーまたは主キーの一部でない場合、次のシナリオでデータを削除する際に以下の制限事項に注意する必要があります。- DELETE 操作中に、UPSERT 操作のみを含む部分更新のロードジョブもある場合。UPSERT 操作と DELETE 操作が同じデータ行にヒットし、UPSERT 操作が DELETE 操作の後に実行される場合、UPSERT 操作が効果を発揮しない可能性があります。
- 部分更新のロードジョブがあり、同じデータ行に対して複数の UPSERT および DELETE 操作が含まれている場合。ある UPSERT 操作が DELETE 操作の後に実行される場合、UPSERT 操作が効果を発揮しない可能性があります。
-
ALTER TABLE を使用して
AUTO_INCREMENT属性を追加することはサポートされていません。 -
バージョン 3.1 以降、StarRocks の共有データモードは
AUTO_INCREMENT属性をサポートしています。 -
StarRocks は
AUTO_INCREMENT列の開始値とステップサイズを指定することをサポートしていません。
キーワード
AUTO_INCREMENT, AUTO INCREMENT
