loading_tools_integration
ツールを使用したデータロード
StarRocks とそのエコシステムパートナーは、StarRocks を外部データベースとシームレスに統合するための以下のツールを提供しています。
SMT
SMT (StarRocks Migration Tool) は、StarRocks が提供するデータ移行ツールで、複雑なデータロードパイプラインを最適化するように設計されています: ソースデータベース（MySQL、Oracle、PostgreSQL など） ---> Flink ---> 目的地の StarRocks クラスター。主な機能は以下の通りです:
- StarRocks でのテーブル作成を簡素化: 外部データベースとターゲットの StarRocks クラスターの情報に基づいて、StarRocks でテーブルを作成するためのステートメントを生成します。
- データパイプラインでのフルまたはインクリメンタルデータ同期プロセスを簡素化: Flink の SQL クライアントで実行可能な SQL ステートメントを生成し、データを同期するための Flink ジョブを提出します。
以下のフローチャートは、ソースデータベース MySQL から Flink を経由して StarRocks にデータをロードするプロセスを示しています。
DataX
DataX はオフラインデータ同期のためのツールで、Alibaba によってオープンソース化されています。DataX は、リレーショナルデータベース（MySQL、Oracle など）、HDFS、Hive を含むさまざまな異種データソース間でデータを同期できます。DataX は、DataX がサポートするデータソースから StarRocks へのデータ同期を行うための StarRocks Writer プラグインを提供します。
CloudCanal
CloudCanal Community Edition は、ClouGence Co., Ltd によって公開された無料のデータ移行および同期プラットフォームで、スキーマ移行、フルデータ移行、検証、修正、およびリアルタイムインクリメンタル同期を統合しています。CloudCanal のビジュアルインターフェースで直接 StarRocks をデータソースとして追加し、ソースデータベース（例: MySQL、Oracle、PostgreSQL）から StarRocks へのデータを自動的に移行または同期するタスクを作成できます。
Kettle connector
Kettle は、視覚的なグラフィカルインターフェースを持つ ETL (Extract, Transform, Load) ツールで、ユーザーがコンポーネントをドラッグしてパラメータを設定することでデータ処理ワークフローを構築できます。この直感的な方法は、データ処理とロードのプロセスを大幅に簡素化し、ユーザーがデータをより便利に扱えるようにします。さらに、Kettle は豊富なコンポーネントライブラリを提供しており、ユーザーはニーズに応じて適切なコンポーネントを選択し、さまざまな複雑なデータ処理タスクを実行できます。
StarRocks は、Kettle と統合するための Kettle Connector を提供しています。Kettle の強力なデータ処理および変換機能と StarRocks の高性能なデータストレージおよび分析能力を組み合わせることで、より柔軟で効率的なデータ処理ワークフローを実現できます。
