開源人年會 2022

您已儲存您的地區設定。若有任何問題請跟我們聯繫!

Zheng-Xian Li

成功大學的研究生,目前在處理 Apache Kafka 伺服器端的負載平衡議題 (ง๑ •̀_•́)ง


Sessions

年7月30日
14:05
30 分鐘
Apache Kafka 叢集負載平衡
Zheng-Xian Li, 蔡嘉平, Xiang-Jun Sun, 蕭宏章, 魏連興, 方竫泓, 鄧智懋, 王懿宸, 李宜桓

Apache Kafka 爲目前熱門的分散式事件串流平臺,本身自帶各種豐富的功能,比如 Replication, JBOD, Authn/z, Encryption, Compression, At-most/At-least/Exactly once Delivery, Transaction,目前常見的 Kafka 應用包含:高吞吐量的資料管線、串流分析應用和資料整合中介軟體。

隨著叢集經歷上層應用的業務需求增長以及叢集資源使用變化,Kafka 叢集在經過這些現實情境的摧殘後,勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況不顧,最終叢集會遭遇效能瓶頸和叢集穩定性問題。

我們提出了一個開源的高彈性的叢集負載平衡工具 - Astraea Balancer,藉由搬移計劃生成和滿足特定平衡目標的打分機制來做到負載平衡,協助管理者持續維護叢集的和平。

本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』和『教育部開源人培計劃』的支持。

JVM 博覽會
TR409-2
年7月30日
15:00
30 分鐘
Kafka Partitioner 平衡框架
方竫泓, 蔡嘉平, 王懿宸, 蕭宏章, 魏連興, Zheng-Xian Li, 鄧智懋, Xiang-Jun Sun, 李宜桓

摘要

Apache Kafka 是一個分散式事件串流平台(distributed event-streaming platform),提供訊息的發佈與訂閱。目前有許多知名應用使用,如:LinkedIn, Line, ...等。
而分散式系統會遇到的負載平衡問題,雖然Kafka 在概念上(partition) 有為平衡作考慮,但也是會發生負載平衡問題。為了解決這個問題,我們從客戶端(client) 下手,設計一個訊息分配框架,讓使用者根據自己在意的"效能指標",決定訊息分配的策略。

本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』的支持。

JVM 博覽會
TR409-2