跳到主要内容
版本：Latest-3.3

Query Profile 结构与详细指标

Query Profile 的结构​

Query Profile 的结构与执行引擎的设计密切相关，由以下五部分组成：

  • Fragment：执行树。一个查询由一个或多个 Fragment 组成。
  • FragmentInstance：每个 Fragment 可以有多个实例，每个实例称为 FragmentInstance，分别由不同的计算节点来执行。
  • Pipeline：一个 FragmentInstance 会被拆分成多个 Pipeline。Pipeline 是一个执行链，由一组首尾相接的 Operator 构成。
  • PipelineDriver：一个 Pipeline 可以有多个实例，每个实例称为 PipelineDriver，以充分利用多个计算核心。
  • Operator：算子。一个 PipelineDriver 由多个 Operator 组成。

img

Query Profile 的合并策略​

通过分析上述结构，您可以轻易观察到，同一个 Fragment 关联的多个 FragmentInstance 在结构上具有高度相似性。同样的，归属于同一 Pipeline 的多个 PipelineDriver 也展现出类似的结构特征。为了减少 Query Profile 的体积，您可以考虑将 FragmentInstance 层进行合并，同样的方法也适用于 PipelineDriver 层。经过这样的合并处理，原本的五层结构便简化为三层，具体表现为：

  • Fragment
  • Pipeline
  • Operator

您可以通过一个 Session 变量 pipeline_profile_level 来控制这个合并行为，其可选值有2个：

  • 1：合并，即三层结构。默认值。
  • 2：不合并，即保留原始的五层结构。
  • 其他任何数值都会被当成默认值 1。

通常，我们并不推荐将该参数设置为 2。原因在于，五层结构的 Query Profile 面临众多限制，如无法借助任何工具进行可视化分析，只能依靠人工直接观察来分析。因此，除非合并过程中导致了关键信息的丢失，否则通常没有必要调整这个参数。

Metric 合并以及 MIN/MAX 值​

在 FragmentInstance 和 PipelineDriver 进行合并时，需要对所有同名的指标进行合并，并记录所有并发实例中每个指标的最小值和最大值。不同种类的指标采用了不同的合并策略：

  • 时间类指标求平均值。例如：
    • OperatorTotalTime 是所有并发实例的平均耗时。
    • __MAX_OF_OperatorTotalTime 是所有并发实例中的最大耗时。
    • __MIN_OF_OperatorTotalTime 是所有并发实例中的最小耗时。
             - OperatorTotalTime: 2.192us
               - __MAX_OF_OperatorTotalTime: 2.502us
               - __MIN_OF_OperatorTotalTime: 1.882us
  • 非时间类指标求和。例如：
    • PullChunkNum 是该指标在所有并发实例的和。
    • __MAX_OF_PullChunkNum 是该指标在所有并发实例中的最大值。
    • __MIN_OF_PullChunkNum 是该指标在所有并发实例中的最小值。
             - PullChunkNum: 146.66K (146660)
               - __MAX_OF_PullChunkNum: 24.45K (24450)
               - __MIN_OF_PullChunkNum: 24.435K (24435)
  • 个别没有最值的指标在所有并发实例中的值相同，例如：DegreeOfParallelism。

通常，MIN 和 MAX 值之间如果有明显差异，则表明数据有很大几率存在倾斜。可能的场景包括聚合和 Join 等。

             - OperatorTotalTime: 2m48s
               - __MAX_OF_OperatorTotalTime: 10m30s
               - __MIN_OF_OperatorTotalTime: 279.170us

Query Profile 指标清单​

Query Profile 包含大量查询执行详细信息的指标。在大多数情况下，您只需关注运算符的执行时间以及处理的数据量大小即可。找到瓶颈后，您就可以有针对性地解决它们。

Summary 指标​

Total​

描述：查询消耗的总时间，包括 Planning、Executing 以及 Profiling 阶段耗时。

Query State​

描述：查询状态，可能状态包括 Finished、Error 以及 Running。

Execution Overview 指标​

FrontendProfileMergeTime​

描述：Query Profile 在 FE 侧的处理时间。

QueryAllocatedMemoryUsage​

描述：所有计算节点，累计分配内存之和。

QueryDeallocatedMemoryUsage​

描述：所有计算节点，累计释放内存之和。

QueryPeakMemoryUsagePerNode​

描述：所有计算节点中，峰值内存的最大值。

QuerySumMemoryUsage​

描述：所有计算节点中，峰值内存的总和。

QueryExecutionWallTime​

描述：执行的墙上时间。

QueryCumulativeCpuTime​

描述：所有计算节点，累计 CPU 耗时之和。

QueryCumulativeOperatorTime​

描述：所有节点耗时之和。这里是简单的线性累加，但实际上，不同的算子的执行时间可能是有重叠的。该参数作为计算算子时间占比的分母。

QueryCumulativeNetworkTime​

描述：所有 Exchange 节点的网络时间之和。这里是简单的线性累加，但实际上，不同 Exchange 的执行时间可能是有重叠的。

QueryCumulativeScanTime​

描述：所有 Scan 节点的 IO 时间之和。这里是简单的线性累加，但实际上，不同 Scan 的执行时间可能是有重叠的。

QueryPeakScheduleTime​

描述：所有Pipeline中，ScheduleTime 指标的最大值。

QuerySpillBytes​

描述：Spill 到本地磁盘的字节数量。

ResultDeliverTime​

描述：传输结果的额外耗时，对于查询语句，这个参数是指数据传回客户端的时间；对于插入语句，这个参数是指数据写入到存储层的时间。

Fragment 指标​

InstanceNum​

描述：该 Fragment 的所有 FragmentInstance 的数量。

InstanceIds​

描述：该 Fragment 的所有 FragmentInstance ID。

BackendNum​

描述：参与该 Fragment 执行的 BE 的数量。

BackendAddresses​

描述：参与该 Fragment 执行的所有 BE 的地址信息。

FragmentInstancePrepareTime​

描述：Fragment Prepare 阶段的耗时。

InstanceAllocatedMemoryUsage​

描述：该 Fragment 下所有 FragmentInstance 的累计分配内存。

InstanceDeallocatedMemoryUsage​

描述：该 Fragment 下所有 FragmentInstance 的累计释放内存。

InstancePeakMemoryUsage​

描述：该 Fragment 下所有 FragmentInstance 中，峰值内存的最大值。

Pipeline 指标​

核心指标的关系如下图所示：

  • DriverTotalTime = ActiveTime + PendingTime + ScheduleTime
  • ActiveTime = ∑ OperatorTotalTime + OverheadTime
  • PendingTime = InputEmptyTime + OutputFullTime + PreconditionBlockTime + PendingFinishTime
  • InputEmptyTime = FirstInputEmptyTime + FollowupInputEmptyTime

img

DegreeOfParallelism​

描述：Pipeline 执行的并行度。

TotalDegreeOfParallelism​

描述：并行度之和。由于同一个 Pipeline 会在多个机器执行，这里指的是把所有并行度累加起来的值。

DriverPrepareTime​

描述：执行 Prepare 的时间，该时间不包括在 DriverTotalTime 中。

DriverTotalTime​

描述：Pipeline 的执行总时间。不包括 prepare 阶段的耗时。

ActiveTime​

描述：Pipeline 的执行时间，包括各个算子的执行时间，以及整个框架的 Overhead，包括调用 has_output，need_input 这些方法的时间。

PendingTime​

描述：Pipeline 由于各种原因，无法被调度执行而阻塞的时间。

InputEmptyTime​

描述：Pipeline 由于输入队列为空而导致被阻塞的时间。

FirstInputEmptyTime​

描述：Pipeline 第一次由于输入队列为空导致的阻塞时间。单独把第一次提出来是因为，第一次等待，大概率是由于 Pipeline 的依赖关系产生的。

FollowupInputEmptyTime​

描述：Pipeline 后续（第二次开始）所有因为输入队列为空导致的阻塞时间。

OutputFullTime​

描述：Pipeline 由于输出队列满而导致被阻塞的时间。

PreconditionBlockTime​

描述：Pipeline 由于依赖条件未满足而导致被阻塞的时间。

PendingFinishTime​

描述：Pipeline 由于等待异步任务结束执行而导致被阻塞的时间。

ScheduleTime​

描述：Pipeline 的调度时间，即进入就绪队列，到被调度执行的这段时间。

BlockByInputEmpty​

描述：由于 InputEmpty 从而被 Block 的次数。

BlockByOutputFull​

描述：由于 OutputFull 从而被 Block 的次数。

BlockByPrecondition​

描述：由于前置依赖未就绪从而被 Block 的次数。

Operator 通用指标​

OperatorAllocatedMemoryUsage​

描述：Operator 累计分配的内存。

OperatorDeallocatedMemoryUsage​

描述：Operator 累计释放的内存。

OperatorPeakMemoryUsage​

描述：所有计算节点中，该 Operator 的峰值内存。该指标仅对于部分物化算子有意义，例如聚合、排序、Join 等。而对于 Project、Scan 等算子无意义，因为内存在当前算子分配，在后续算子释放，对于当前算子来说，峰值内存就等同于累计分配的内存。在 v3.1.8 和 v3.2.3 之前的版本中，该指标的含义为 “所有 PipelineDriver 中，该 Operator 的峰值内存”。

PrepareTime​

描述：Prepare 的时间。

OperatorTotalTime​

描述：Operator 消耗的总时间。且满足：OperatorTotalTime = PullTotalTime + PushTotalTime + SetFinishingTime + SetFinishedTime + CloseTime。不包含 Prepare 的时间。

PullTotalTime​

描述：Operator 执行 push_chunk 的总时间。

PushTotalTime​

描述：Operator 执行 pull_chunk 的总时间。

SetFinishingTime​

描述：Operator 执行 set_finishing 的总时间。

SetFinishedTime​

描述：Operator 执行 set_finished 的总时间。

PushRowNum​

描述：Operator 累积输入行数。

PullRowNum​

描述：Operator 累积输出行数。

JoinRuntimeFilterEvaluate​

描述：Join Runtime Filter 执行的次数。

JoinRuntimeFilterHashTime​

描述：Join Runtime Filter 计算Hash的时间。

JoinRuntimeFilterInputRows​

描述：Join Runtime Filter 的输入行数。

JoinRuntimeFilterOutputRows​

描述：Join Runtime Filter 的输出行数。

JoinRuntimeFilterTime​

描述：Join Runtime Filter 的耗时。

Unique 指标​

Scan Operator​

Scan Operator 会使用一个额外的线程池来执行 IO 任务，因此该节点的时间指标的关系如下：

img

OLAP Scan Operator​

为了帮助大家更好地理解 Scan Operator 中的各项指标，以下图形将清晰展示这些指标与存储结构之间的关联。

img

Table​
  • 描述：表名称。
  • 级别：一级指标
Rollup​
  • 描述：物化视图名称。如果没有命中物化视图的话，等同于表名称。
  • 级别：一级指标
SharedScan​
  • 描述：是否启用了 enable_shared_scan Session 变量。
  • 级别：一级指标
TabletCount​
  • 描述：Tablet 数量。
  • 级别：一级指标
MorselsCount​
  • 描述：Morsel 数量。
  • 级别：一级指标
PushdownPredicates​
  • 描述：下推的谓词数量。
  • 级别：一级指标
Predicates​
  • 描述：谓词表达式。
  • 级别：一级指标
BytesRead​
  • 描述：读取数据的大小。
  • 级别：一级指标
CompressedBytesRead​
  • 描述：从磁盘上读取的压缩数据的大小。
  • 级别：一级指标
UncompressedBytesRead​
  • 描述：从磁盘上读取的未压缩数据的大小。
  • 级别：一级指标
RowsRead​
  • 描述：读取的行数（谓词过滤后的行数）。
  • 级别：一级指标
RawRowsRead​
  • 描述：读取的原始行数（谓词过滤前的行数）。
  • 级别：一级指标
ReadPagesNum​
  • 描述：读取 Page 的数量。
  • 级别：一级指标
CachedPagesNum​
  • 描述：缓存的 Page 数量。
  • 级别：一级指标
ChunkBufferCapacity​
  • 描述：Chunk Buffer 的容量。
  • 级别：一级指标
DefaultChunkBufferCapacity​
  • 描述：Chunk Buffer 的默认容量。
  • 级别：一级指标
PeakChunkBufferMemoryUsage​
  • 描述：Chunk Buffer 的峰值内存。
  • 级别：一级指标
PeakChunkBufferSize​
  • 描述：Chunk Buffer 的峰值大小。
  • 级别：一级指标
PrepareChunkSourceTime​
  • 描述：Chunk Source 的 Prepare 时间。
  • 级别：一级指标
ScanTime​
  • 描述：Scan 累计时间。Scan 操作在异步 I/O 线程池中完成。
  • 级别：一级指标
IOTaskExecTime​
  • 描述：IO 任务的执行时间。
  • 级别：一级指标
  • 下属指标：CreateSegmentIter、DictDecode、GetDelVec、GetDeltaColumnGroup、GetRowsets、IOTime、LateMaterialize、ReadPKIndex、SegmentInit、SegmentRead
CreateSegmentIter​
  • 描述：创建 Segment 迭代器的时间。
  • 级别：二级指标
DictDecode​
  • 描述：低基数优化字典解码的时间。
  • 级别：二级指标
GetDelVec​
  • 描述：加载 DelVec（删除向量）的时间。
  • 级别：二级指标
GetDeltaColumnGroup​
  • 描述：加载 DelVecColumnGroup 的时间。
  • 级别：二级指标
GetRowsets​
  • 描述：加载 RowSet 的时间。
  • 级别：二级指标
IOTime​
  • 描述：文件 IO 的时间。
  • 级别：二级指标
LateMaterialize​
  • 描述：延迟物化的时间。
  • 级别：二级指标
ReadPKIndex​
  • 描述：读取 PrimaryKey 索引的时间。
  • 级别：二级指标
SegmentInit​
  • 描述：Segment 初始化的时间。
  • 级别：二级指标
  • 下属指标：BitmapIndexFilter、BitmapIndexFilterRows、BloomFilterFilter、BloomFilterFilterRows、ColumnIteratorInit、ShortKeyFilter、ShortKeyFilterRows、ShortKeyRangeNumber、RemainingRowsAfterShortKeyFilter、ZoneMapIndexFiter、ZoneMapIndexFilterRows、SegmentZoneMapFilterRows、SegmentRuntimeZoneMapFilterRows
BitmapIndexFilter​
  • 描述：Bitmap 索引过滤时间。
  • 级别：三级指标
BitmapIndexFilterRows​
  • 描述：Bitmap 索引过滤行数。
  • 级别：三级指标
BloomFilterFilter​
  • 描述：Bloom 索引过滤时间。
  • 级别：三级指标
BloomFilterFilterRows​
  • 描述：Bloom 索引过滤行数。
  • 级别：三级指标
ColumnIteratorInit​
  • 描述：Column 迭代器初始化的时间。
  • 级别：三级指标
ShortKeyFilter​
  • 描述：ShortKey 索引的过滤时间。
  • 级别：三级指标
ShortKeyFilterRows​
  • 描述：ShortKey 索引的过滤行数。
  • 级别：三级指标
ShortKeyRangeNumber​
  • 描述：ShortKey Range 的数量。
  • 级别：三级指标
RemainingRowsAfterShortKeyFilter​
  • 描述：ShortKey 索引过滤后的剩余行数。
  • 级别：三级指标
ZoneMapIndexFiter​
  • 描述：ZoneMap 索引过滤时间。
  • 级别：三级指标
ZoneMapIndexFilterRows​
  • 描述：ZoneMap 索引过滤行数。
  • 级别：三级指标
SegmentZoneMapFilterRows​
  • 描述：Segment ZoneMap 索引过滤行数。
  • 级别：三级指标
SegmentRuntimeZoneMapFilterRows​
  • 描述：Segment Runtime ZoneMap 索引过滤行数。
  • 级别：三级指标
SegmentRead​
  • 描述：Segment 读取时间。
  • 级别：二级指标
  • 下属指标：BlockFetch、BlockFetchCount、BlockSeek、BlockSeekCount、ChunkCopy、DecompressT、DelVecFilterRows、PredFilter、PredFilterRows、RowsetsReadCount、SegmentsReadCount、TotalColumnsDataPageCount
BlockFetch​
  • 描述：Block 读取时间。
  • 级别：三级指标
BlockFetchCount​
  • 描述：Block 读取次数。
  • 级别：三级指标
BlockSeek​
  • 描述：Block 搜索时间。
  • 级别：三级指标
BlockSeekCount​
  • 描述：Block 搜索次数。
  • 级别：三级指标
ChunkCopy​
  • 描述：Chunk 拷贝时间。
  • 级别：三级指标
DecompressT​
  • 描述：解压缩的时间。
  • 级别：三级指标
DelVecFilterRows​
  • 描述：DELETE vector 过滤行数。
  • 级别：三级指标
PredFilter​
  • 描述：谓词过滤时间。
  • 级别：三级指标
PredFilterRows​
  • 描述：谓词过滤行数。
  • 级别：三级指标
RowsetsReadCount​
  • 描述：Rowset 读取次数。
  • 级别：三级指标
SegmentsReadCount​
  • 描述：Segment 读取次数。
  • 级别：三级指标
TotalColumnsDataPageCount​
  • 描述：Column Data Page 的数量。
  • 级别：三级指标
IOTaskWaitTime​
  • 描述：IO 任务从投递成功到被调度执行的等待时间。
  • 级别：一级指标
SubmitTaskCount​
  • 描述：提交 IO 任务的次数。
  • 级别：一级指标
SubmitTaskTime​
  • 描述：提交任务的耗时。
  • 级别：一级指标
PeakIOTasks​
  • 描述：IO 任务的峰值数量。
  • 级别：一级指标
PeakScanTaskQueueSize​
  • 描述：IO 任务队列的峰值大小。
  • 级别：一级指标

Connector Scan Operator​

DataSourceType​
  • 描述：数据源类型，可以是 HiveDataSource，ESDataSource 等等。
  • 级别：一级指标
Table​
  • 描述：表名称。
  • 级别：一级指标
TabletCount​
  • 描述：Tablet 数量。
  • 级别：一级指标
MorselsCount​
  • 描述：Morsel 数量。
  • 级别：一级指标
Predicates​
  • 描述：谓词表达式。
  • 级别：一级指标
PredicatesPartition​
  • 描述：作用在分区上的谓词表达式。
  • 级别：一级指标
SharedScan​
  • 描述：是否启用了 enable_shared_scan Session 变量。
  • 级别：一级指标
ChunkBufferCapacity​
  • 描述：Chunk Buffer 的容量。
  • 级别：一级指标
DefaultChunkBufferCapacity​
  • 描述：Chunk Buffer 的默认容量。
  • 级别：一级指标
PeakChunkBufferMemoryUsage​
  • 描述：Chunk Buffer 的峰值内存。
  • 级别：一级指标
PeakChunkBufferSize​
  • 描述：Chunk Buffer 的峰值大小。
  • 级别：一级指标
PrepareChunkSourceTime​
  • 描述：Chunk Source 的 Prepare 时间。
  • 级别：一级指标
ScanTime​
  • 描述：Scan 累计时间。Scan 操作在异步 I/O 线程池中完成。
  • 级别：一级指标
IOTaskExecTime​
  • 描述：IO 任务的执行时间。
  • 级别：一级指标
  • 下属指标：ColumnConvertTime、ColumnReadTime、ExprFilterTime、InputStream、ORC、OpenFile、ReaderInit、RowsRead、RowsSkip、ScanRanges、SharedBuffered
ColumnConvertTime​
  • 描述：Column 转换的耗时。
  • 级别：二级指标
ColumnReadTime​
  • 描述：Reader 读取和解析数据时间。
  • 级别：二级指标
ExprFilterTime​
  • 描述：表达式过滤时间。
  • 级别：二级指标
InputStream​
  • 描述：仅用于分类，无具体含义。
  • 级别：二级指标
  • 下属指标：AppIOBytesRead、AppIOCounter、AppIOTime、FSIOBytesRead、FSIOCounter、FSIOTime
AppIOBytesRead​
  • 描述：应用层读取的数据量。
  • 级别：三级指标
AppIOCounter​
  • 描述：应用层读取的 I/O 次数。
  • 级别：三级指标
AppIOTime​
  • 描述：应用层累计读取时间。
  • 级别：三级指标
FSIOBytesRead​
  • 描述：存储系统读取的数据量。
  • 级别：三级指标
FSIOCounter​
  • 描述：存储层读取的 I/O 次数。
  • 级别：三级指标
FSIOTime​
  • 描述：存储层累计读取时间。
  • 级别：三级指标
ORC​
  • 描述：仅用于分类，无具体含义。
  • 级别：二级指标
  • 下属指标：IcebergV2FormatTimer、StripeNumber、StripeSizes
IcebergV2FormatTimer​
  • 描述：格式转换的耗时。
  • 级别：三级指标
StripeNumber​
  • 描述：ORC 文件的数量。
  • 级别：三级指标
StripeSizes​
  • 描述：ORC 文件每个 stripe 的平均大小。
  • 级别：三级指标
OpenFile​
  • 描述：打开文件的耗时。
  • 级别：二级指标
ReaderInit​
  • 描述：初始化 Reader的耗时。
  • 级别：二级指标
RowsRead​
  • 描述：读取数据的行数。
  • 级别：二级指标
RowsSkip​
  • 描述：跳过的行数。
  • 级别：二级指标
ScanRanges​
  • 描述：扫描的数据分片总数。
  • 级别：二级指标
SharedBuffered​
  • 描述：仅用于分类，无具体含义。
  • 级别：二级指标
  • 下属指标：DirectIOBytes、DirectIOCount、DirectIOTime、SharedIOBytes、SharedIOCount、SharedIOTime
DirectIOBytes​
  • 描述：直接 IO 读取的数据量。
  • 级别：三级指标
DirectIOCount​
  • 描述：直接 IO 的次数。
  • 级别：三级指标
DirectIOTime​
  • 描述：直接 IO 的耗时。
  • 级别：三级指标
SharedIOBytes​
  • 描述：共享 IO 读取的数据量
  • 级别：三级指标
SharedIOCount​
  • 描述：共享 IO 的次数。
  • 级别：三级指标
SharedIOTime​
  • 描述：共享 IO 的耗时。
  • 级别：三级指标
IOTaskWaitTime​
  • 描述：IO 任务从投递成功到被调度执行的等待时间。
  • 级别：一级指标
SubmitTaskCount​
  • 描述：提交 IO 任务的次数。
  • 级别：一级指标
SubmitTaskTime​
  • 描述：提交任务的耗时。
  • 级别：一级指标
PeakIOTasks​
  • 描述：IO 任务的峰值数量。
  • 级别：一级指标
PeakScanTaskQueueSize​
  • 描述：IO 任务队列的峰值大小。
  • 级别：一级指标

Exchange Operator​

Exchange Sink Operator​

ChannelNum​

描述：Channel 数量。一般来说，有几个接收端，就有几个Channel。

DestFragments​

描述：接收端 FragmentInstance ID 列表。

DestID​

描述：接收端节点 ID。

PartType​

描述：数据分布模式，包括：UNPARTITIONED、RANDOM、HASH_PARTITIONED 以及 BUCKET_SHUFFLE_HASH_PARTITIONED。

SerializeChunkTime​

描述：序列化 Chunk 的耗时。

SerializedBytes​

描述：序列化的数据大小。

ShuffleChunkAppendCounter​

描述：当 PartType 为 HASH_PARTITIONED 或 BUCKET_SHUFFLE_HASH_PARTITIONED 时，Chunk Append 的次数。

ShuffleChunkAppendTime​

描述：当 PartType 为 HASH_PARTITIONED 或 BUCKET_SHUFFLE_HASH_PARTITIONED 时，Chunk Append 的耗时。

ShuffleHashTime​

描述：当 PartType 为 HASH_PARTITIONED 或 BUCKET_SHUFFLE_HASH_PARTITIONED 时，计算 Hash 的耗时。

RequestSent​

描述：发送的数据包的数量。

RequestUnsent​

描述：未发送的数据包的数量。存在短路逻辑时，该指标不为0。其他情况下，该指标为0。

BytesSent​

描述：发送的数据大小。

BytesUnsent​

描述：未发送数据大小。存在短路逻辑时，该指标不为0。其他情况下，该指标为0。

BytesPassThrough​

描述：当目的节点就是当前节点时，不再通过网络传输数据，即PassThrough的数据大小。通过 enable_exchange_pass_through 开启 PassThrough。

PassThroughBufferPeakMemoryUsage​

描述：PassThrough Buffer的峰值内存。

CompressTime​

描述：压缩时间。

CompressedBytes​

描述：压缩数据大小。

OverallThroughput​

描述：吞吐速率。

NetworkTime​

描述：数据包传输时间（不包括接收后处理时间）。

NetworkBandwidth​

描述：网络带宽估算值。

WaitTime​

描述：由于发送端队列满而导致的等待时间。

OverallTime​

描述：整个传输过程的总耗时。即，发送第一个数据包，到确认最后一个数据包已被正确接收的这段时间。

RpcAvgTime​

描述：Rpc的平均耗时。

RpcCount​

描述：Rpc的总次数。

Exchange Source Operator​

RequestReceived​

描述：接收的数据包的大小。

BytesReceived​

描述：接收的数据大小。

DecompressChunkTime​

描述：解压缩的耗时。

DeserializeChunkTime​

描述：反序列化的耗时。

ClosureBlockCount​

描述：阻塞的 Closure 的数量。

ClosureBlockTime​

描述：Closure 的阻塞时间。

ReceiverProcessTotalTime​

描述：接收端处理的耗时。

WaitLockTime​

描述：锁的等待时间。

Aggregate Operator​

GroupingKeys​

描述：GROUP BY 列。

AggregateFunctions​

描述：聚合函数计算耗时。

AggComputeTime​

描述：AggregateFunctions + Group By耗时。

ChunkBufferPeakMem​

描述：Chunk Buffer 峰值内存。

ChunkBufferPeakSize​

描述：Chunk Buffer 峰值大小。

ExprComputeTime​

描述：表达式计算耗时。

ExprReleaseTime​

描述：表达式 Release 耗时。

GetResultsTime​

描述：提取聚合结果的耗时。

HashTableSize​

描述：Hash Table 大小。

HashTableMemoryUsage​

描述：Hash Table 的内存大小。

InputRowCount​

描述：输入行数。

PassThroughRowCount​

描述：Auto 模式下，由于聚合度不高，导致退化成 Streaming 模式后，处理数据的行数。

ResultAggAppendTime​

描述：聚合结果列 Append 的耗时。

ResultGroupByAppendTime​

描述：Group By 列 Append 的耗时。

ResultIteratorTime​

描述：迭代 Hash Table 的耗时

StreamingTime​

描述：Streaming 模式下的处理耗时。

Join Operator​

DistributionMode​

描述：分布类型。包括：BROADCAST，PARTITIONED，COLOCATE等等。

JoinPredicates​

描述：Join 谓词。

JoinType​

描述：Join 类型。

BuildBuckets​

描述：Hash Table 的 Bucket 数量。

BuildKeysPerBucket​

描述：每个 Bucket 中 Key 的数量。

BuildConjunctEvaluateTime​

描述：Conjunct 的耗时。

BuildHashTableTime​

描述：构建 Hash Table 的耗时。

ProbeConjunctEvaluateTime​

描述：Probe Conjunct 的耗时。

SearchHashTableTimer​

描述：查询 Hash Table 的耗时。

CopyRightTableChunkTime​

描述：拷贝右表 Chunk 的耗时。

HashTableMemoryUsage​

描述：Hash Table 内存的占用。

RuntimeFilterBuildTime​

描述：构建 Runtime Filter 的耗时。

RuntimeFilterNum​

描述：Runtime Filter 的数量。

Window Function Operator​

ProcessMode​

描述：执行模式。包含两部分：第一个部分包括：Materializing，Streaming；第二部分包括：Cumulative，RemovableCumulative，ByDefinition。

ComputeTime​

描述：窗口函数计算耗时。

PartitionKeys​

描述：分区列。

AggregateFunctions​

描述：聚合函数。

ColumnResizeTime​

描述：Column 缩容或扩容的耗时。

PartitionSearchTime​

描述：搜索 Partition 边界的耗时。

PeerGroupSearchTime​

描述：搜索 Peer Group 边界的耗时。仅在窗口类型为 RANGE 时有意义。

PeakBufferedRows​

描述：Buffer 的峰值行数。

RemoveUnusedRowsCount​

描述：移除无用 Buffer 的次数。

RemoveUnusedTotalRows​

描述：移除无用 Buffer 的行数。

Sort Operator​

SortKeys​

描述：排序键。

SortType​

描述：查询结果排序方式：全排序或者排序 Top N 个结果。

MaxBufferedBytes​

描述：缓存的数据的峰值大小。

MaxBufferedRows​

描述：缓存的数据的峰值行数。

NumSortedRuns​

描述：有序片段的数量。

BuildingTime​

描述：维护排序时所用到的一些内部数据结构的耗时。

MergingTime​

描述：排序时，会将一个大的序列，切分成多个小序列，然后对每个小序列进行排序。最后再将这些序列合并起来。因此，这个指标表示的是合并的耗时。

SortingTime​

描述：排序的耗时。

OutputTime​

描述：构建输出有序序列的耗时。

Merge Operator​

为了方便理解各项指标，Merge 可以表示成如下状态机制：

                   ┌────────── PENDING ◄──────────┐
                   │                              │
                   │                              │
                   ├──────────────◄───────────────┤
                   │                              │
                   ▼                              │
       INIT ──► PREPARE ──► SPLIT_CHUNK ──► FETCH_CHUNK ──► FINISHED
                   ▲
                   |
                   | one traverse from leaf to root
                   |
                   ▼
                PROCESS
Limit​
  • 描述：Limit。
  • 级别：一级指标
Offset​
  • 描述：Offset。
  • 级别：一级指标
StreamingBatchSize​
  • 描述：Merge 以 Streaming 模式进行，每次处理的数据量的大小。
  • 级别：一级指标
LateMaterializationMaxBufferChunkNum​
  • 描述：启用延迟物化时，Buffer 的最大 Chunk 数量。
  • 级别：一级指标
OverallStageCount​
  • 描述：各阶段的执行次数总和。
  • 级别：一级指标
  • 下属指标：1-InitStageCount、2-PrepareStageCount、3-ProcessStageCount、4-SplitChunkStageCount、5-FetchChunkStageCount、6-PendingStageCount、7-FinishedStageCount
1-InitStageCount​
  • 描述：Init 阶段执行次数。
  • 级别：二级指标
2-PrepareStageCount​
  • 描述：Prepare 阶段执行次数。
  • 级别：二级指标
3-ProcessStageCount​
  • 描述：Process 阶段执行次数。
  • 级别：二级指标
4-SplitChunkStageCount​
  • 描述：Split 阶段执行次数。
  • 级别：二级指标
5-FetchChunkStageCount​
  • 描述：Fetch 阶段执行次数。
  • 级别：二级指标
6-PendingStageCount​
  • 描述：Pending 阶段执行次数。
  • 级别：二级指标
7-FinishedStageCount​
  • 描述：Finished 阶段执行次数。
  • 级别：二级指标
OverallStageTime​
  • 描述：各个阶段执行总耗时。
  • 级别：一级指标
  • 下属指标：1-InitStageTime、2-PrepareStageTime、3-ProcessStageTime、4-SplitChunkStageTime、5-FetchChunkStageTime、6-PendingStageTime、7-FinishedStageTime
1-InitStageTime​
  • 描述：Init 阶段执行耗时。
  • 级别：二级指标
2-PrepareStageTime​
  • 描述：Prepare 阶段执行耗时。
  • 级别：二级指标
3-ProcessStageTime​
  • 描述：Process 阶段执行耗时。
  • 级别：二级指标
  • 下属指标：LateMaterializationGenerateOrdinalTime、SortedRunProviderTime
LateMaterializationGenerateOrdinalTime​
  • 描述：延迟物化构建 ID 列的耗时。
  • 级别：三级指标
SortedRunProviderTime​
  • 描述：从 Provider 获取数据的耗时。
  • 级别：三级指标
4-SplitChunkStageTime​
  • 描述：Split 阶段的耗时。
  • 级别：二级指标
5-FetchChunkStageTime​
  • 描述：Fetch 阶段的耗时。
  • 级别：二级指标
6-PendingStageTime​
  • 描述：Pending 阶段的耗时。
  • 级别：二级指标
7-FinishedStageTime​
  • 描述：Finished 阶段的耗时。
  • 级别：二级指标

TableFunction Operator​

TableFunctionExecTime​

描述：Table Function 计算耗时。

TableFunctionExecCount​

描述：Table Function 执行次数。

Project Operator​

ExprComputeTime​

描述：表达式计算耗时。

CommonSubExprComputeTime​

描述：公共子表达式计算耗时。

LocalExchange Operator​

Type​

描述：Local Exchange 类型，包括：Passthrough、Partition 以及 Broadcast。

ShuffleNum​

描述：Shuffle 数量。该指标仅当 Type 为 Partition 时有效。

LocalExchangePeakMemoryUsage​

描述：峰值内存。

OlapTableSink Operator​

您可以通过 OlapTableSink Operator 了解 INSERT INTO FILES() 和 Broker Load 导入方式的执行信息。此功能自 v3.3.0 起支持。

提示
  • 如果 OlapTableSink 的 PushChunkNum 指标的 Max 值和 Min 值之间存在显著差异，则表明上游算子产生的数据存在数据倾斜，可能导致写入性能瓶颈。
  • RpcClientSideTime 等于 RpcServerSideTime 加上网络传输时间和 RPC 框架处理时间。如果 RpcClientSideTime 和 RpcServerSideTime 之间存在显著差异，请考虑启用压缩以减少传输时间。
IndexNum​

描述：目标表的同步物化视图数。

ReplicatedStorage​

描述：Single Leader Replication 是否开启。

TxnID​

描述：导入事务的 ID。

RowsRead​

描述：从上游算子读取到的数据行数。

RowsFiltered​

描述：因数据质量过滤掉的数据行数。

RowsReturned​

描述：最终写入目标表的数据行数。

RpcClientSideTime​

描述：客户端侧统计的数据写入 RPC 总耗时。

RpcServerSideTime​

描述：服务器侧统计的数据写入 RPC 总耗时。

PrepareDataTime​

描述：数据准备阶段的总耗时，包括数据格式转换和数据质量检查。

SendDataTime​

描述：发送数据的本地耗时，包括数据序列化和压缩的时间，以及将任务提交到发送队列的时间。