Emerk's blog

Kafka -> Flink -> StreamLoad Doris

数据进入 Doris 后，中文数据会显示为 ？？？

Flink On Yarn运行时，作业的 ApplicationId 是随机生成的

Checkpoint 保存的位置是使用 ApplicationId 生成的路径（我们保存在 HDFS）

以下 Shell 脚本可以自动获取最新的 Checkpoint 保存路径

Flink 根据某个字段动态的把数据写入 Kafka 的某些 Topic

可能会想到多写几个 Sink 就可以了，的确，Flink 支持多个 Sink

但是如果需求是写入非常多的 Topic，那么代码会非常冗余

Flink 提供了高级的序列化模式，FlinkKafkaProducer 提供了 KafkaSerializationSchema 接口

这个模式允许分开的序列化 Key 和 Value，同时允许重写目标 Topic，因此一个 FlinkKafkaProducer 可以发送数据到多个 Topic

需要进行负载均衡的配置

以下是经过测试的 Nginx 负载均衡的配置方法

使用 sqoop 将 Doris 数据导入到 HDFS，

HDFS 数据更新到 Hive 表分区。