Flink Web UI 显示某个 task 背压 100%,但看不出具体是哪个算子的问题。数据量 5 万条/秒。
Flink Web UI 显示某个 task 背压 100%,但看不出具体是哪个算子的问题。数据量 5 万条/秒。
Web UI 的 BackPressure 页面点 "Sample" 按钮,会显示每个 subtask 的状态。从 sink 往 source 方向看,第一个 OK 的就是瓶颈点。
定位到了,是写入 HBase 的算子,Put 没做批量提交。
批量写 + 调大 sink 并行度 + 开启 buffer 超时提交,三招基本能解决大部分背压。