- StarRocks
- 产品简介
- 快速开始
- 部署 StarRocks
- 表设计
- 导入数据
- 导出数据
- 查询数据湖
- 查询加速
- 管理手册
- 参考手册
- SQL参考
- 用户账户管理
- 集群管理
- ADD SQLBLACKLIST
- ADMIN CANCEL REPAIR TABLE
- ADMIN CHECK TABLET
- ADMIN REPAIR TABLE
- ADMIN SET CONFIG
- ADMIN SET REPLICA STATUS
- ADMIN SHOW CONFIG
- ADMIN SHOW REPLICA DISTRIBUTION
- ADMIN SHOW REPLICA STATUS
- ALTER RESOURCE GROUP
- ALTER STORAGE VOLUME
- ALTER SYSTEM
- CANCEL DECOMMISSION
- CREATE RESOURCE GROUP
- CREATE STORAGE VOLUME
- CREATE FILE
- DELETE SQLBLACKLIST
- DESC STORAGE VOLUME
- DROP FILE
- DROP RESOURCE GROUP
- DROP STORAGE VOLUME
- EXPLAIN
- INSTALL PLUGIN
- KILL
- SET
- SET DEFAULT STORAGE VOLUME
- SHOW BACKENDS
- SHOW BROKER
- SHOW COMPUTE NODES
- SHOW FILE
- SHOW FRONTENDS
- SHOW FULL COLUMNS
- SHOW INDEX
- SHOW PLUGINS
- SHOW PROC
- SHOW PROCESSLIST
- SHOW RESOURCE GROUP
- SHOW SQLBLACKLIST
- SHOW STORAGE VOLUMES
- SHOW TABLE STATUS
- SHOW VARIABLES
- UNINSTALL PLUGIN
- DDL
- ALTER DATABASE
- ALTER MATERIALIZED VIEW
- ALTER TABLE
- ALTER VIEW
- ALTER RESOURCE
- ANALYZE TABLE
- BACKUP
- CANCEL ALTER TABLE
- CANCEL BACKUP
- CANCEL RESTORE
- CREATE ANALYZE
- CREATE DATABASE
- CREATE EXTERNAL CATALOG
- CREATE FUNCTION
- CREATE INDEX
- CREATE MATERIALIZED VIEW
- CREATE REPOSITORY
- CREATE RESOURCE
- CREATE TABLE
- CREATE TABLE AS SELECT
- CREATE TABLE LIKE
- CREATE VIEW
- DROP ANALYZE
- DROP CATALOG
- DROP DATABASE
- DROP FUNCTION
- DROP INDEX
- DROP MATERIALIZED VIEW
- DROP REPOSITORY
- DROP RESOURCE
- DROP STATS
- DROP TABLE
- DROP VIEW
- HLL
- KILL ANALYZE
- RECOVER
- REFRESH EXTERNAL TABLE
- RESTORE
- SET CATALOG
- SHOW ANALYZE JOB
- SHOW ANALYZE STATUS
- SHOW FUNCTION
- SHOW META
- SHOW RESOURCES
- TRUNCATE TABLE
- USE
- DML
- ALTER LOAD
- ALTER ROUTINE LOAD
- BROKER LOAD
- CANCEL LOAD
- CANCEL REFRESH MATERIALIZED VIEW
- CANCEL EXPORT
- CREATE ROUTINE LOAD
- DELETE
- DROP TASK
- EXPORT
- GROUP BY
- INSERT
- PAUSE ROUTINE LOAD
- REFRESH MATERIALIZED VIEW
- RESUME ROUTINE LOAD
- SELECT
- SHOW ALTER TABLE
- SHOW ALTER MATERIALIZED VIEW
- SHOW BACKUP
- SHOW CATALOGS
- SHOW CREATE CATALOG
- SHOW CREATE DATABASE
- SHOW CREATE MATERIALIZED VIEW
- SHOW CREATE TABLE
- SHOW CREATE VIEW
- SHOW DATA
- SHOW DATABASES
- SHOW DELETE
- SHOW DYNAMIC PARTITION TABLES
- SHOW EXPORT
- SHOW LOAD
- SHOW MATERIALIZED VIEWS
- SHOW PARTITIONS
- SHOW PROPERTY
- SHOW REPOSITORIES
- SHOW RESTORE
- SHOW ROUTINE LOAD
- SHOW ROUTINE LOAD TASK
- SHOW SNAPSHOT
- SHOW TABLES
- SHOW TABLET
- SHOW TRANSACTION
- SPARK LOAD
- STOP ROUTINE LOAD
- STREAM LOAD
- SUBMIT TASK
- UPDATE
- 辅助命令
- 数据类型
- 关键字
- 函数参考
- 函数列表
- Java UDF
- 窗口函数
- Lambda 表达式
- 日期函数
- add_months
- adddate
- convert_tz
- current_date
- current_time
- current_timestamp
- date
- date_add
- date_diff
- date_format
- date_slice
- date_sub, subdate
- date_trunc
- datediff
- day
- dayname
- dayofmonth
- dayofweek
- dayofyear
- days_add
- days_diff
- days_sub
- from_days
- from_unixtime
- hour
- hours_add
- hours_diff
- hours_sub
- makedate
- last_day
- microseconds_add
- microseconds_sub
- minute
- minutes_add
- minutes_diff
- minutes_sub
- month
- monthname
- months_add
- months_diff
- months_sub
- next_day
- now
- previous_day
- quarter
- second
- seconds_add
- seconds_diff
- seconds_sub
- str_to_date
- str2date
- time_slice
- time_to_sec
- timediff
- timestamp
- timestampadd
- timestampdiff
- to_days
- to_date
- unix_timestamp
- utc_timestamp
- week
- weekofyear
- weeks_add
- weeks_diff
- weeks_sub
- year
- years_add
- years_diff
- years_sub
- 字符串函数
- append_trailing_char_if_absent
- ascii
- char
- char_length
- character_length
- concat
- concat_ws
- ends_with
- find_in_set
- group_concat
- hex_decode_binary
- hex_decode_string
- hex
- instr
- lcase
- left
- length
- locate
- lower
- lpad
- ltrim
- money_format
- null_or_empty
- parse_url
- repeat
- replace
- reverse
- right
- rpad
- rtrim
- space
- split
- split_part
- starts_with
- str_to_map
- strleft
- strright
- substring
- trim
- ucase
- unhex
- upper
- 聚合函数
- any_value
- approx_count_distinct
- array_agg
- avg
- bitmap
- bitmap_agg
- count
- corr
- covar_pop
- covar_samp
- group_concat
- grouping
- grouping_id
- hll_empty
- hll_hash
- hll_raw_agg
- hll_union
- hll_union_agg
- max
- max_by
- min
- min_by
- multi_distinct_count
- multi_distinct_sum
- percentile_approx
- percentile_cont
- percentile_disc
- retention
- sum
- std
- stddev
- stddev_samp
- variance, variance_pop, var_pop
- var_samp
- window_funnel
- Array 函数
- all_match
- any_match
- array_agg
- array_append
- array_avg
- array_concat
- array_contains
- array_contains_all
- array_cum_sum
- array_difference
- array_distinct
- array_filter
- array_generate
- array_intersect
- array_join
- array_length
- array_map
- array_max
- array_min
- arrays_overlap
- array_position
- array_remove
- array_slice
- array_sort
- array_sortby
- array_sum
- array_to_bitmap
- cardinality
- element_at
- reverse
- unnest
- Bitmap 函数
- bitmap_agg
- bitmap_and
- bitmap_andnot
- bitmap_contains
- bitmap_count
- bitmap_empty
- bitmap_from_string
- bitmap_hash
- bitmap_has_any
- bitmap_intersect
- bitmap_max
- bitmap_min
- bitmap_or
- bitmap_remove
- bitmap_subset_in_range
- bitmap_subset_limit
- bitmap_to_array
- bitmap_to_base64
- base64_to_bitmap
- bitmap_to_string
- bitmap_union
- bitmap_union_count
- bitmap_union_int
- bitmap_xor
- intersect_count
- sub_bitmap
- to_bitmap
- JSON 函数
- Map 函数
- Struct 函数
- 表函数
- Bit 函数
- Binary 函数
- 加密函数
- 模糊/正则匹配函数
- 条件函数
- 百分位函数
- 标量函数
- 工具函数
- 地理位置函数
- cast 函数
- hash 函数
- 数学函数
- AUTO_INCREMENT
- 生成列
- 系统变量
- 用户自定义变量
- 错误码
- 系统限制
- AWS IAM 策略
- SQL参考
- 常见问题解答
- 性能测试
检查环境配置
本文列出了在部署 StarRocks 之前需要检查并配置的所有环境和系统配置项。正确设置这些配置项可以确保集群的高可用并提升性能。
端口
StarRocks 为不同的服务使用特定的端口。如果您在这些实例上部署了其他服务,请检查这些端口是否被占用。
FE 端口
在用于 FE 部署的实例上,您需要检查以下端口:
8030
:FE HTTP Server 端口(http_port
)9020
:FE Thrift Server 端口(rpc_port
)9030
:FE MySQL Server 端口(query_port
)9010
:FE 内部通讯端口(edit_log_port
)
在 FE 实例上执行如下命令查看这些端口是否被占用:
netstat -tunlp | grep 8030
netstat -tunlp | grep 9020
netstat -tunlp | grep 9030
netstat -tunlp | grep 9010
如果上述任何端口被占用,您必须在部署 FE 节点时指定可用于替换的端口。详细说明参见 手动部署 StarRocks - 启动 Leader FE 节点。
BE 端口
在用于 BE 部署的实例上,您需要检查以下端口:
9060
:BE Thrift Server 端口(be_port
)8040
:BE HTTP Server 端口(be_http_port
)9050
:BE 心跳服务端口(heartbeat_service_port
)8060
:BE BRPC 端口(brpc_port
)
在 BE 实例上执行如下命令查看这些端口是否被占用:
netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
如果上述任何端口被占用,您必须在部署 BE 节点时指定可用于替换的端口。详细说明参见 部署 StarRocks - 启动 BE 服务。
CN 端口
在用于 CN 部署的实例上,您需要检查以下端口:
9060
:CN Thrift Server 端口(thrift_port
)8040
:CN HTTP Server 端口(be_http_port
)9050
:CN 心跳服务端口(heartbeat_service_port
)8060
:CN BRPC 端口(brpc_port
)
在 CN 实例上执行如下命令查看这些端口是否被占用:
netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
如果上述任何端口被占用,您必须在部署 CN 节点时指定可用于替换的端口。详细说明参见 部署 StarRocks - 启动 CN 服务。
主机名
如需为您的 StarRocks 集群 启用 FQDN 访问,您必须为每个实例设置一个主机名。
在每个实例的 /etc/hosts 文件中,您必须指定集群中其他实例的 IP 地址和相应的主机名。
注意
/etc/hosts 文件中的所有 IP 地址都必须是唯一。
JDK 设置
StarRocks 依靠环境变量 JAVA_HOME
定位实例上的 Java 依赖项。
运行以下命令查看环境变量 JAVA_HOME
:
echo $JAVA_HOME
按照以下步骤设置 JAVA_HOME
:
在 /etc/profile 文件中设置
JAVA_HOME
:sudo vi /etc/profile # Replace <path_to_JDK> with the path where JDK is installed. export JAVA_HOME=<path_to_JDK> export PATH=$PATH:$JAVA_HOME/bin
使变更生效:
source /etc/profile
运行以下命令验证变更是否成功:
java -version
CPU Scaling Governor
该配置项为可选配置项。如果您的 CPU 不支持 Scaling Governor,则可以跳过该项。
CPU Scaling Governor 用于控制 CPU 能耗模式。如果您的 CPU 支持该配置项,建议您将其设置为 performance
以获得更好的 CPU 性能:
echo 'performance' | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
内存设置
Memory Overcommit
Memory Overcommit 允许操作系统将额外的内存资源分配给进程。建议您启用 Memory Overcommit。
echo 1 | sudo tee /proc/sys/vm/overcommit_memory
Transparent Huge Pages
Transparent Huge Pages 默认启用。因其会干扰内存分配,进而导致性能下降,建议您禁用此功能。
echo 'madvise' | sudo tee /sys/kernel/mm/transparent_hugepage/enabled
Swap Space
建议您禁用 Swap Space。
检查并禁用 Swap Space 操作步骤如下:
关闭 Swap Space。
swapoff /<path_to_swap_space>
从 /etc/fstab 文件中删除 Swap Space 信息。
/<path_to_swap_space> swap swap defaults 0 0
确认 Swap Space 已关闭。
free -m
Swappiness
Swappiness 会对性能造成影响,因此建议您禁用 Swappiness。
echo 0 | sudo tee /proc/sys/vm/swappiness
存储设置
建议您根据所选用的存储介质来确定合适的调度算法。
您可以使用以下命令检查您当前使用的调度算法:
cat /sys/block/${disk}/queue/scheduler
# 例如,运行 cat /sys/block/vdb/queue/scheduler
推荐您为 SATA 磁盘使用 mq-deadline 调度算法,为 NVMe 或 SSD 磁盘使用 kyber 调度算法。
SATA
mq-deadline 调度算法适合 SATA 磁盘。
临时修改此项:
echo mq-deadline | sudo tee /sys/block/${disk}/queue/scheduler
要使变更永久生效,请在修改该项后运行以下命令:
chmod +x /etc/rc.d/rc.local
SSD 和 NVMe
kyber 调度算法适合 NVMe 或 SSD 磁盘。
临时修改此项:
echo kyber | sudo tee /sys/block/${disk}/queue/scheduler
如果您的系统不支持 SSD 和 NVMe 的 kyber 调度算法,建议您使用 none(或 noop)调度算法。
echo none | sudo tee /sys/block/${disk}/queue/scheduler
要使变更永久生效,请在修改该项后运行以下命令:
chmod +x /etc/rc.d/rc.local
SELinux
建议您禁用 SELinux。
sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
sed -i 's/SELINUXTYPE/#SELINUXTYPE/' /etc/selinux/config
setenforce 0
防火墙
如果您启用了防火墙,请为 FE、BE 和 Broker 开启内部端口。
systemctl stop firewalld.service
systemctl disable firewalld.service
LANG 变量
您需要使用以下命令手动检查和配置 LANG 变量:
echo "export LANG=en_US.UTF8" >> /etc/profile
source /etc/profile
时区
请根据您所在的实际时区设置此项。
以下示例将时区设置为 /Asia/Shanghai
。
cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
hwclock
ulimit 设置
如果最大文件描述符和最大用户进程的值设置得过小,StarRocks 运行可能会出现问题。
最大文件描述符
您可以通过运行以下命令设置最大文件描述符数:
ulimit -n 65535
最大用户进程
您可以通过运行以下命令设置最大用户进程数:
ulimit -u 40960
文件系统配置
建议您使用 ext4 或 xfs 日志文件系统。您可以运行以下命令来检查挂载类型:
df -Th
网络配置
tcp_abort_on_overflow
如果系统当前因后台进程无法处理的新连接而溢出,则允许系统重置新连接:
echo 1 | sudo tee /proc/sys/net/ipv4/tcp_abort_on_overflow
somaxconn
设置监听 Socket 队列的最大连接请求数为 1024
:
echo 1024 | sudo tee /proc/sys/net/core/somaxconn
NTP 设置
需要在 StarRocks 集群各节点之间配置时间同步,从而保证事务的线性一致性。您可以使用 pool.ntp.org 提供的互联网时间服务,也可以使用离线环境内置的 NTP 服务。例如,您可以使用云服务提供商提供的 NTP 服务。
查看 NTP 时间服务器是否存在。
rpm -qa | grep ntp
如不存在,运行以下命令安装 NTP 时间服务器。
sudo yum install ntp ntpdate && \ sudo systemctl start ntpd.service && \ sudo systemctl enable ntpd.service
检查 NTP 服务。
systemctl list-unit-files | grep ntp
检查 NTP 服务连接和监控状态。
netstat -tlunp | grep ntp
检查服务是否与 NTP 服务器同步。
ntpstat
检查网络中的 NTP 服务器。
ntpq -p
高并发配置
如果您的 StarRocks 集群负载并发较高,建议您进行如下配置:
echo 120000 > /proc/sys/kernel/threads-max
echo 262144 > /proc/sys/vm/max_map_count
echo 200000 > /proc/sys/kernel/pid_max