JCConf 2022

Your locale preferences have been saved. We like to think that we have excellent support for English in pretalx, but if you encounter issues or errors, please contact us!

Kafka consumer 負載平衡策略介紹與比較
2022-10-07 , ROOM 401
Language: 漢語

Apache Kafka為目前熱門的分散式資料串流系統,具備資料發送端(Producer)、資料儲存(Broker)、資料讀取端(Consumer)。

隨著業務需求、叢集規模改變,可能導致單一consumer消費資料的速度無法滿足服務需求,Kafka以group的方式提供consumer容錯性及擴充性。

為了避免consumer group內consumer負擔的消費流量不均勻,Kafka利用consumer assignor來分配每個consumer要消費的partitions。Kafka提供四種assignors,每種assignor所處理的情景都不同,本次演講主要分享四個Kafka consumer assignors的優缺點。


Link to Slide

https://docs.google.com/presentation/d/1TMMIoydx1rgxn9mEde4RjMjpe8HfK7WSFRybhY0sA5Y/edit

成功大學研究生