ClickHouse 数据导入 HDFS -> ClickHouse
ClickHouse 数据导入。
HDFS 数据导入 ClickHouse,HDFS 文件格式为 ORC。
ClickHouse 建表语句,该表为用户行为分析平台的事件表。
Doris 动态分区使用方法说明。
Doris 动态分区使用方法说明。
在我们的生产环境,Doris 部署在 CDH 集群,每当早批进行时,都会出现资源争夺的问题。
因为 Doris BE 单个进程占用的内存最大,所以总是会被 Kill 掉,导致任务失败。
基于以上原因需要将 Doris BE 独立部署,因为时生产环境,数据的迁移需要平滑无感,不影响成产使用。