Emerk's blog

ClickHouse Kafka 数据接入 —— 实时数据导入 Task 创建

发表于 2021-07-26 分类于 ClickHouse

Kafka 接入 ClickHouse，数据实时进入 ClickHouse 表

这个功能和 Doris 和 Routine Load 功能类似，只是有些操作更复杂一些（Offset 操作）

相比于 Doris Routine Load，ClickHouse 的 Kafka 接入更灵活一些

阅读全文 »

Flink 本地开发 Web UI DashBoard

发表于 2021-07-26 分类于 Flink

Flink 本地调试 Web UI DashBoard

阅读全文 »

Doris BE 状态监控

发表于 2021-07-23 分类于 Doris

Doris BE 监控，

当 BE 挂掉，Azkaban 定时任务会监控到，同时将 BE 服务重启，

重启完成后，Azkaban 失败、告警。

阅读全文 »

ClickHouse UBT 包含细分维度的 windowFunnel 计算

发表于 2021-07-22 分类于 ClickHouse

Funnel 计算（包含细分维度）

查询条件:

1. 漏斗流程
   浏览详情页 -> 加入进货单或立即购买 -> 提交订单 -> 支付商品订单
2. 对第一层 "浏览详情页" 进行了 "是否注册用户" = "是" 的筛选
3. 时间范围 2021-07-01 ~ 2021-07-09
4. 转化周期 1 天
5. 细分维度 "一级分类名称"

阅读全文 »

ClickHouse UBT 不包含细分维度的 windowFunnel 计算

发表于 2021-07-21 分类于 ClickHouse

Funnel 计算（不包含细分维度）

查询条件:

1. 漏斗流程
   login_in -> $pageview -> $end -> $startup -> $end -> $startup
2. 对第一层 login_in 进行了 screen_width > 500 的筛选
3. 时间范围 2021-07-01 ~ 2021-07-09
4. 转化周期 1 天

阅读全文 »