Emerk's blog

ClickHouse Kafka 数据接入 —— offset 指定位置开始消费补充

发表于 2021-07-29 分类于 ClickHouse

这个流程针对 Kafka 数据实时接入 ClickHouse 的情况下，

某些场景需要从指定 Offset 位置开始消费，可能会出现修改了 Offset 后，Kafka 引擎不会继续消费的情况，

使用以下方式，解决了 Offset 修改后不能继续消费的问题。

发表于 2021-07-28 分类于 Flink

Flink Side Output 代码示例

示例背景为用户型为分析数据清洗时，使用 Side Output 进行 event 数据、profile 数据的分离

发表于 2021-07-28 分类于 Flink

Flink 消费 Kafka 数据时，有些场景需要获取 Kafka Partition、Offset

可以使用 JSONKeyValueDeserializationSchema 反序列化器获取 Kafka 数据的 Metadata 信息

发表于 2021-07-27 分类于 ClickHouse

这个流程针对 Kafka 数据实时接入 ClickHouse 的情况下，

某些场景需要从指定 Offset 位置开始消费，可以参考以下流程进行操作。

发表于 2021-07-27 分类于 ClickHouse

这个流程针对 Kafka 数据实时接入 ClickHouse 的情况下，

Schema 增加字段的同时，能够保证实时数据进入 ClickHouse 的 EOS。