JCConf 2022

Apache Kafka replica搬移成本估計
2022年10月7日 , ROOM 402AB
語言: 漢語

Apache Kafka 爲目前熱門的分散式事件串流平臺,本身自帶各種豐富的功能,比如 Replication, JBOD, Authn/z, Encryption, Compression, At-most/At-least/Exactly once Delivery, Transaction,目前常見的 Kafka 應用包含:高吞吐量的資料管線、串流分析應用和資料整合中介軟體。

隨著叢集經歷上層應用的業務需求增長以及叢集資源使用變化,Kafka 叢集在經過這些現實情境的摧殘後,勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況不顧,最終叢集會遭遇效能瓶頸和叢集穩定性問題。

為了解決負載不平衡的情況,會需要對叢集的副本的存放位置進行一些調整,而這些調整勢必會產生網路流量,本次演講主要在分享「為何需要估算成本」以及「如何估算成本」

本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』和『教育部開源人培計劃』的支持。


簡報連結

https://docs.google.com/presentation/d/1U4WlUE5eqS2nUy_fu79QcJ1bdIj6Plcc1lVfMTr03aA/edit?usp=drivesdk

成功大學的研究生,目前在處理 Apache Kafka 伺服器端的負載平衡議題 (((゚Д゚;)))