COSCUP 2022

Your locale preferences have been saved. We like to think that we have excellent support for English in pretalx, but if you encounter issues or errors, please contact us!

蔡嘉平

負責協調客戶和大數據之間的糾紛,同時熱衷參與開源專案,強迫他們接受來自台灣的技術善意


Sessions

07-30
14:05
30min
Apache Kafka 叢集負載平衡
Zheng-Xian Li, 蔡嘉平, Xiang-Jun Sun, 蕭宏章, 魏連興, 方竫泓, 鄧智懋, 王懿宸, 李宜桓

Apache Kafka 爲目前熱門的分散式事件串流平臺,本身自帶各種豐富的功能,比如 Replication, JBOD, Authn/z, Encryption, Compression, At-most/At-least/Exactly once Delivery, Transaction,目前常見的 Kafka 應用包含:高吞吐量的資料管線、串流分析應用和資料整合中介軟體。

隨著叢集經歷上層應用的業務需求增長以及叢集資源使用變化,Kafka 叢集在經過這些現實情境的摧殘後,勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況不顧,最終叢集會遭遇效能瓶頸和叢集穩定性問題。

我們提出了一個開源的高彈性的叢集負載平衡工具 - Astraea Balancer,藉由搬移計劃生成和滿足特定平衡目標的打分機制來做到負載平衡,協助管理者持續維護叢集的和平。

本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』和『教育部開源人培計劃』的支持。

The JVM Fair
TR409-2
07-30
15:00
30min
Kafka Partitioner 平衡框架
方竫泓, 蔡嘉平, 王懿宸, 蕭宏章, 魏連興, Zheng-Xian Li, 鄧智懋, Xiang-Jun Sun, 李宜桓

摘要

Apache Kafka 是一個分散式事件串流平台(distributed event-streaming platform),提供訊息的發佈與訂閱。目前有許多知名應用使用,如:LinkedIn, Line, ...等。
而分散式系統會遇到的負載平衡問題,雖然Kafka 在概念上(partition) 有為平衡作考慮,但也是會發生負載平衡問題。為了解決這個問題,我們從客戶端(client) 下手,設計一個訊息分配框架,讓使用者根據自己在意的"效能指標",決定訊息分配的策略。

本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』的支持。

The JVM Fair
TR409-2