JCConf 2022

Kafka consumer 負載平衡策略介紹與比較
10-07, 13:25–13:40 (Asia/Taipei), ROOM 401
Language: 漢語

Apache Kafka為目前熱門的分散式資料串流系統,具備資料發送端(Producer)、資料儲存(Broker)、資料讀取端(Consumer)。

隨著業務需求、叢集規模改變,可能導致單一consumer消費資料的速度無法滿足服務需求,Kafka以group的方式提供consumer容錯性及擴充性。

為了避免consumer group內consumer負擔的消費流量不均勻,Kafka利用consumer assignor來分配每個consumer要消費的partitions。Kafka提供四種assignors,每種assignor所處理的情景都不同,本次演講主要分享四個Kafka consumer assignors的優缺點。


Link to Slide

https://docs.google.com/presentation/d/1TMMIoydx1rgxn9mEde4RjMjpe8HfK7WSFRybhY0sA5Y/edit

成功大學研究生