ローランド リチャード
P2Pネットワークを活用したデータ保存技術など、分散システムおよびブロックチェーン技術に関する研究に取り組んだことがあります。その後、SoftBankやOKCoin Japanなどで、ブロックチェーン関連システムの開発に携わっています。
これまでに、日本、ポルトガル、アイルランド、カナダのPyConを含む複数の技術カンファレンスで登壇し、Pythonコンパイラ内部実装に関する発表を行いました。
Session
Transformerは、ChatGPTやコード生成AIをはじめとする現代のAIシステムを支える中核技術ですが、その解説は数式中心で難解だったり、逆に抽象的すぎて内部動作が見えにくかったりすることが少なくありません。
本トークでは、Transformerアーキテクチャを開発者向けに直感的かつ実装ベースで解説します。まず、従来のRNNや初期のAttention機構の限界を振り返りながら、なぜSelf-Attentionが重要なのかを説明します。その後、Query / Key / Value (Q/K/V) によるScaled Dot-Product Attentionの仕組みを、PyTorchの最小実装を交えながら理解していきます。
さらに、Self-Attentionによる文脈表現、Causal Maskingによる次単語予測、Multi-Head Attention、Positional Encodingなど、Transformerを構成する主要要素についても扱います。
また、GPT-2のような実際のモデルとの関連にも触れながら、Transformerの理論とPythonコードを結びつけて理解できることを目指します。
このトークを通じて、参加者はTransformer内部の基本動作を理解し、既存ライブラリや実装をより深く読み解けるようになることを目標とします。