データロード

🗃️ ロード概要

4項目

🗃️ オブジェクトストレージからのロード

8項目

📄️ ローカルファイルシステムからデータをロードする

StarRocks は、ローカルファイルシステムからデータをロードするための2つの方法を提供しています。

📄️ HDFS からのデータロード

StarRocks は、HDFS からデータをロードするために次のオプションを提供します。

🗃️ Apache Kafka からのデータロード

2項目

🗃️ Apache Spark からのデータロード

2項目

📄️ INSERT を使用したデータロード

このトピックでは、SQL ステートメント - INSERT を使用して StarRocks にデータをロードする方法について説明します。

📄️ Load data using Stream Load transaction interface

バージョン 2.4 以降、StarRocks は Stream Load トランザクションインターフェースを提供し、Apache Flink® や Apache Kafka® などの外部システムからデータをロードするトランザクションに対して 2 フェーズコミット (2PC) を実装します。Stream Load トランザクションインターフェースは、高度に並行したストリームロードのパフォーマンスを向上させます。

📄️ MySQL からのリアルタイム同期

StarRocks は、MySQL から StarRocks へのデータをリアルタイムで同期する複数の方法をサポートしており、大量データの低遅延リアルタイム分析を実現します。

📄️ Apache Flink® からのデータの継続的なロード

StarRocks は、Apache Flink® 用に独自開発したコネクタである StarRocks Connector for Apache Flink®（以下、Flink コネクタ）を提供しています。これを使用して、Flink を介して StarRocks テーブルにデータをロードできます。基本的な原理は、データを蓄積し、STREAM LOAD を通じて一度に StarRocks にロードすることです。

📄️ ロードによるデータの変更

StarRocks が提供する Primary Key tables を使用すると、Stream Load、Broker Load、または Routine Load ジョブを実行して StarRocks テーブルにデータ変更を加えることができます。これらのデータ変更には、挿入、更新、削除が含まれます。ただし、Primary Key tables は Spark Load または INSERT を使用したデータ変更をサポートしていません。

📄️ ロード時のデータ変換

StarRocks はロード時のデータ変換をサポートしています。

📄️ ツールを使用したデータロード

StarRocks とそのエコシステムパートナーは、StarRocks を外部データベースとシームレスに統合するための以下のツールを提供しています。

📄️ Strict モード

Strict モードは、データロードのために設定できるオプションのプロパティです。これは、ロードの動作と最終的にロードされるデータに影響を与えます。