開源人年會 2022

Apache Kafka 叢集負載平衡
年7月30日, 14:05–14:35 (Asia/Taipei), TR409-2
語言: 漢語

Apache Kafka 爲目前熱門的分散式事件串流平臺,本身自帶各種豐富的功能,比如 Replication, JBOD, Authn/z, Encryption, Compression, At-most/At-least/Exactly once Delivery, Transaction,目前常見的 Kafka 應用包含:高吞吐量的資料管線、串流分析應用和資料整合中介軟體。

隨著叢集經歷上層應用的業務需求增長以及叢集資源使用變化,Kafka 叢集在經過這些現實情境的摧殘後,勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況不顧,最終叢集會遭遇效能瓶頸和叢集穩定性問題。

我們提出了一個開源的高彈性的叢集負載平衡工具 - Astraea Balancer,藉由搬移計劃生成和滿足特定平衡目標的打分機制來做到負載平衡,協助管理者持續維護叢集的和平。

本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』和『教育部開源人培計劃』的支持。


Apache Kafka 爲以 JVM 為底的熱門分散式事件串流平臺,本身支援豐富多變的功能和高擴展性,方便上游應用利用,現今 Apache Kafka 已經被許多知名企業採用於生產環境。

由於業務需求和叢集資源使用的改變,Kafka 叢集勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況,最終叢集會遭遇效能瓶頸和叢集穩定性問題。

對此我們提出了一個開源的 Kafka 叢集負載平衡工具,於伺服器端解決問題:

  • 高彈性架構:負載平衡目標可重新定義,套用自己在意的負載平衡目標對症下藥
  • 自動把關負載平衡過程:Kafka 伺服器端的負載平衡涉及很顯著的資料複製代價,我們將有一個機制確保負載平衡不影響上游應用運行。

目標聽眾族群

對 Apache Kafka 有興趣的朋友、對分散式系統的負載平衡有興趣的朋友

內容難易度

中階

youtube_link

https://www.youtube.com/watch?v=SCNdaDoyYnQ

成功大學的研究生,目前在處理 Apache Kafka 伺服器端的負載平衡議題 (ง๑ •̀_•́)ง

此講者還出現在:

負責協調客戶和大數據之間的糾紛,同時熱衷參與開源專案,強迫他們接受來自台灣的技術善意

此講者還出現在:

成大資訊研究生

此講者還出現在:
此講者還出現在:

畢業於國立成功大學數學系,現在就讀國立成功大學資訊工程研究所。現於分散式系統實驗室,和團隊一起研究Kafka負載平衡議題。

https://hackmd.io/@7y4UQB2gRoSQRw5iAm-5lw/chinghongfang

此講者還出現在:
此講者還出現在:

畢業於逢甲大學機械與電腦輔助工程學系,今年25歲。

此講者還出現在: