COSCUP 2022

Your locale preferences have been saved. We like to think that we have excellent support for English in pretalx, but if you encounter issues or errors, please contact us!

Apache Kafka 叢集負載平衡
07-30, 14:05–14:35 (Asia/Taipei), TR409-2
Language: 漢語

Apache Kafka 爲目前熱門的分散式事件串流平臺,本身自帶各種豐富的功能,比如 Replication, JBOD, Authn/z, Encryption, Compression, At-most/At-least/Exactly once Delivery, Transaction,目前常見的 Kafka 應用包含:高吞吐量的資料管線、串流分析應用和資料整合中介軟體。

隨著叢集經歷上層應用的業務需求增長以及叢集資源使用變化,Kafka 叢集在經過這些現實情境的摧殘後,勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況不顧,最終叢集會遭遇效能瓶頸和叢集穩定性問題。

我們提出了一個開源的高彈性的叢集負載平衡工具 - Astraea Balancer,藉由搬移計劃生成和滿足特定平衡目標的打分機制來做到負載平衡,協助管理者持續維護叢集的和平。

本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』和『教育部開源人培計劃』的支持。


Apache Kafka 爲以 JVM 為底的熱門分散式事件串流平臺,本身支援豐富多變的功能和高擴展性,方便上游應用利用,現今 Apache Kafka 已經被許多知名企業採用於生產環境。

由於業務需求和叢集資源使用的改變,Kafka 叢集勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況,最終叢集會遭遇效能瓶頸和叢集穩定性問題。

對此我們提出了一個開源的 Kafka 叢集負載平衡工具,於伺服器端解決問題:

  • 高彈性架構:負載平衡目標可重新定義,套用自己在意的負載平衡目標對症下藥
  • 自動把關負載平衡過程:Kafka 伺服器端的負載平衡涉及很顯著的資料複製代價,我們將有一個機制確保負載平衡不影響上游應用運行。

Target Audience

對 Apache Kafka 有興趣的朋友、對分散式系統的負載平衡有興趣的朋友

Difficulty

中階

youtube_link

https://www.youtube.com/watch?v=SCNdaDoyYnQ

成功大學的研究生,目前在處理 Apache Kafka 伺服器端的負載平衡議題 (ง๑ •̀_•́)ง

This speaker also appears in:

負責協調客戶和大數據之間的糾紛,同時熱衷參與開源專案,強迫他們接受來自台灣的技術善意

This speaker also appears in:

成大資訊研究生

This speaker also appears in:
This speaker also appears in:

畢業於國立成功大學數學系,現在就讀國立成功大學資訊工程研究所。現於分散式系統實驗室,和團隊一起研究Kafka負載平衡議題。

https://hackmd.io/@7y4UQB2gRoSQRw5iAm-5lw/chinghongfang

This speaker also appears in:
This speaker also appears in:

畢業於逢甲大學機械與電腦輔助工程學系,今年25歲。

This speaker also appears in: