COSCUP 2022

Your locale preferences have been saved. We like to think that we have excellent support for English in pretalx, but if you encounter issues or errors, please contact us!

增強圖神經網路,朝向幾何深度學習
07-31, 10:40–11:30 (Asia/Taipei), TR411
Language: 漢語

圖神經網路(graph neural network, GNN)是幾何深度學習(geometric deep learning)的重要分支。Message-passing 架構是 GNN 相當重要而流行的架構,然而這個架構卻無法發揮圖的全部威力而造成重大的缺陷。更重要的是,Message-passing 架構只考慮每個節點的鄰居,卻不能考慮圖的局部拓樸結構。取自 Transformer 的方法,利用位置編碼可以有效讓圖的拓樸結構被 GNN 使用,並增強 GNN 的學習效能。過往的流形學習(manifold learning)都使用靜態圖(static graph)作為建構高維流形的手段,但是建構高維流形與學習降維的方法分離。這樣會造成流形學習沒有辦法捕捉到正確的流形結構,導致流形學習的失敗。動態圖更新(dynamic graph update)是一個被提出來解決這個問題的手段,透過在圖捲積層(graph convolutional layer)中建構高維流形,這樣就可以提昇 GNN 學習高維流形的效率。本演講中將會描述如何在 Julia 的 GeometricFlux.jl 中實作這些方法,並且提高 GNN 模型的學習效能。當中還會提及 GeometricFlux.jl 中的新功能,例如如何使用 GPU 來做批次學習(batch learning)提高訓練速度、如何使用群捲積層(group convolutional layer)等等。


Difficulty

中階

Target Audience

對GNN或深度學習領域有興趣的開發者

youtube_link

https://www.youtube.com/watch?v=NpexCAkR550

Julia Taiwan 社群主持人,中央研究院/台灣大學生物資訊學國際學程博士候選人,擁有生物醫學及電腦科學背景,曾任工研院機器學習講師,活躍於台北及台中的深度學習及人工智慧相關社群。熱愛數學、電腦科學及自然科學,為開源軟體貢獻者,Julia 的 GNN 套件 GeometricFlux.jl 維護者。擁有著作《Julia 程式設計:新世代資料科學與數值運算語言》及《Julia 資料科學與科學計算》二書。

This speaker also appears in: