2022年7月30日 –, TR409-2
語言: 漢語
Apache Kafka 爲目前熱門的分散式事件串流平臺,本身自帶各種豐富的功能,比如 Replication, JBOD, Authn/z, Encryption, Compression, At-most/At-least/Exactly once Delivery, Transaction,目前常見的 Kafka 應用包含:高吞吐量的資料管線、串流分析應用和資料整合中介軟體。
隨著叢集經歷上層應用的業務需求增長以及叢集資源使用變化,Kafka 叢集在經過這些現實情境的摧殘後,勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況不顧,最終叢集會遭遇效能瓶頸和叢集穩定性問題。
我們提出了一個開源的高彈性的叢集負載平衡工具 - Astraea Balancer,藉由搬移計劃生成和滿足特定平衡目標的打分機制來做到負載平衡,協助管理者持續維護叢集的和平。
本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』和『教育部開源人培計劃』的支持。
Apache Kafka 爲以 JVM 為底的熱門分散式事件串流平臺,本身支援豐富多變的功能和高擴展性,方便上游應用利用,現今 Apache Kafka 已經被許多知名企業採用於生產環境。
由於業務需求和叢集資源使用的改變,Kafka 叢集勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況,最終叢集會遭遇效能瓶頸和叢集穩定性問題。
對此我們提出了一個開源的 Kafka 叢集負載平衡工具,於伺服器端解決問題:
- 高彈性架構:負載平衡目標可重新定義,套用自己在意的負載平衡目標對症下藥
- 自動把關負載平衡過程:Kafka 伺服器端的負載平衡涉及很顯著的資料複製代價,我們將有一個機制確保負載平衡不影響上游應用運行。
對 Apache Kafka 有興趣的朋友、對分散式系統的負載平衡有興趣的朋友
內容難易度 –中階
youtube_link –
此講者還出現在:
畢業於國立成功大學數學系,現在就讀國立成功大學資訊工程研究所。現於分散式系統實驗室,和團隊一起研究Kafka負載平衡議題。
此講者還出現在: