功能边界:数据导入导出
本文介绍了 StarRocks 导入导出的能力边界以及所涉及功能的支持版本。
文件格式
导入文件格式
数据源 | 文件格式 | |||||||
---|---|---|---|---|---|---|---|---|
CSV | JSON [3] | Parquet | ORC | Avro | ProtoBuf | Thrift | ||
Stream Load | 本地文件系统、应用及 Connector | Yes | Yes | 待支持 | 待支持 | 待支持 | ||
INSERT from FILES | HDFS, S3, OSS, Azure, GCS | Yes (v3.3+) | 待支持 | Yes (v3.1+) | Yes (v3.1+) | 待支持 | ||
Broker Load | Yes | Yes (v3.2.3+) | Yes | Yes | 待支持 | |||
Routine Load | Kafka | Yes | Yes | 待支持 | 待支持 | Yes (v3.0+) [1] | 待支持 | 待支持 |
Spark Load | Yes | 待支持 | Yes | Yes | 待支持 | |||
Connectors | Flink, Spark | Yes | Yes | 待支持 | 待支持 | 待支持 | ||
Kafka Connector [2] | Kafka | Yes (v3.0+) | 待支持 | 待支持 | Yes (v3.0+) | 待支持 | ||
PIPE [4] | 同 INSERT from FILES |
备注
[1], [2]:需要依赖 Schema Registry。
[3]:JSON 支持多种 CDC 格式。有关 StarRocks 支持的 JSON CDC 格式的详细信息,参见 JSON CDC 格式。
[4]:PIPE 当前只支持 INSERT from FILES。
JSON CDC 格式
Stream Load | Routine Load | Broker Load | INSERT from FILES | Kafka Connector | |
---|---|---|---|---|---|
Debezium | 将在 v3.4 版本中支持 | 将在 v3.4 版本中支持 | 待支持 | 待支持 | Yes (v3.0+) [1] |
Canal | 待支持 | ||||
Maxwell |
备注
[1]:在将 Debezium CDC 格式数据导入到 StarRocks 主键表时,必须配置 transforms
参数。