0.9 pyconjp2024 2024-09-27 2024-09-28 2 00:05 https://pretalx.com Asia/Tokyo 20F Track1 Talk 2024-09-27T10:30:00+09:00 10:30 00:30 James Powell, aka “dontusethiscode” or “dutc,” leads the training and consulting firm, Don't Use This Code. Since 2014, he has offered expert services in software development, scientific computing, and data engineering. A prolific speaker at over 80 conferences worldwide, James is known for his signature suit and tie. He is also the Chairman of NumFOCUS and a lead organizer of NYC Python, actively supporting open source communities. pyconjp2024-55273-day1-keynote en false https://pretalx.com/pyconjp2024/talk/HHVDEQ/ https://pretalx.com/pyconjp2024/talk/HHVDEQ/feedback/ 20F Track1 Mini Talk 2024-09-27T11:40:00+09:00 11:40 00:15 Django Ninjaは、Djangoフレームワーク上でFastAPIのような高速で直感的なAPI開発を可能にするライブラリです。このトークでは、Django Ninjaの基本的な使い方から実際のプロジェクトでの活用方法までを網羅し、DjangoとDjango Ninjaを組み合わせた効率的なAPI開発手法を紹介します。 具体的には、基本的なAPIエンドポイントの作成、認証と認可の設定、スキーマバリデーションの実装、そしてパフォーマンス最適化のためのベストプラクティスについて詳しく解説します。 また、Django Ninjaを実際のプロジェクトで使用する際に直面する可能性のある課題とその解決方法についても取り上げます。このトークは、Djangoを使用した経験がある開発者や、より高速なAPI開発を目指しているエンジニアに向けたものとなります。 pyconjp2024-51338-django-ninjaapi Web Applications 加藤雅也 en このトークでは、Django Ninjaを活用してDjangoアプリケーション上に高速で柔軟なAPIを構築する方法を紹介します。まず、Django Ninjaの基本的な使い方から始め、次に具体的なコード例を交えてエンドポイントの作成、スキーマバリデーション、認証と認可の設定方法を解説します。また、Django Ninjaを使用する際に注意すべき点や、パフォーマンス最適化のためのベストプラクティスについても深掘りします。最後に、弊社(Recustomer株式会社)での活用例を通じて、具体的な問題解決の方法を共有します。このトークを通じて、参加者はDjango Ninjaを効果的に活用するための知識とスキルを習得できます。 - Django Ninjaの基本概要 - 具体的なユースケースと実演 - 基本的なAPIエンドポイントの作成 - スキーマバリデーションの実装 - パフォーマンス最適化のためのベストプラクティス - 弊社(Recustomer株式会社)での活用例 false 本スライド https://pretalx.com/pyconjp2024/talk/93RZT7/ https://pretalx.com/pyconjp2024/talk/93RZT7/feedback/ 20F Track1 Talk 2024-09-27T13:00:00+09:00 13:00 00:30 名著「レガシーコード改善ガイド」では、「テストがないコードはレガシーコード」と言われています。テストが無い（もしくは手動テストが大半を占める）アプリケーションは改修を重ねるたびにリリースが長期化し、いずれメンテナンス不可能なレガシーコードと成り果ててしまいます。 どのような分野・規模のアプリケーションであっても、テストは不可欠です。更に、アプリケーションを構築・改修して素早くリリースするためには、「高速かつ何度でもテストを実行できる仕組み」が非常に重要となってきます。 本セッションでは、Pythonの代表的なテストフレームワークである`pytest`を用いた実践的なテスト方法を紹介します。シンプルなテストケースだけでなく、DBやネットワーク、ファイル入出力、時刻、OS情報など、複雑な依存関係にあるコードのテスト方法を解説していきます。また、テスト駆動開発（`TDD`）に基づくテストファーストな開発手法にも触れていきます。 pyconjp2024-50235-pytest DevOps, Testing, Documentation, Packaging fujine en 本セッションでは、様々なPythonコードを`pytest`で自動テストする手法を解説していきます。 - 昨年のPyConAPAC2023での先行発表「[好きとか嫌いとかはいい、練習してテストを書けるようになるんだ](https://2023-apac.pycon.jp/timetable?id=MBSPYH)」を更に発展させ、より複雑なコードをどのようにテストするかに焦点を当てて解説していきます。 - コードが複雑なままだと、テストも必然的に複雑になります。本セッションでは単なる「`pytest`の使い方」の解説で終わらず、「テストを容易にするためのコードリファクタリング」も紹介し、テストを通じてコード品質を高める手法についても触れていきます。 タイムテーブルは以下で進める予定です。 1. 導入(5min) - 自己紹介 - なぜテストが必要なのか？ - なぜ単体テストの自動化を重視するのか？ - テスト駆動開発（`TDD`）の紹介 2. pytest概説(5min) - `AAA`を意識したテストケースの書き方 - `fixture`による前処理・後処理の実装 - `parametarize`によるパラメータテスト - `tmp_path`による一時ディレクトリの作成 - `pytest-cov`によるテストカバレッジの取得 3. 様々なテストパターンとリファクタリング(18min) - `DB`に依存するコード - `HTTP`リクエストするコード - ファイル入出力を行うコード - 特定の日時で動作するコード - `OS`情報に依存するコード 4. まとめ(2min) false https://pretalx.com/pyconjp2024/talk/D9BDAQ/ https://pretalx.com/pyconjp2024/talk/D9BDAQ/feedback/ 20F Track1 Talk 2024-09-27T13:50:00+09:00 13:50 00:30 クラウド時代のログ出力では、JSONによる構造化ログや呼び出し元のコンテキストを含めた出力が必要とされます。このトークではstructlogを使い、実際のWebアプリケーション開発でDjango、Celery、Sentryのコンテキストを繋いでログ出力する例を紹介します。 pyconjp2024-50049-structlog DevOps, Testing, Documentation, Packaging Takayuki Shimizukawa en structlogはOut-Of-The-Boxで簡単に使える便利なログ出力ライブラリ、ではありません。使いやすいラッパーライブラリは気軽に使い始められるメリットがあります。しかし、ある程度複雑な構成で標準ライブラリやフレームワークのログ出力もまとめて扱うには、始めやすさよりも、追跡しやすいログを簡単なコードで手軽に出せることが大事になってきます。 クラウド時代のログ出力では、ログを機械的に扱えるように、構造化されたJSONフォーマットが求められます。また、各ログの追跡可能性を高めるためにはログのコンテキスト情報をフレームワークのログ出力にも含めることが求められます。こういった追跡可能なログによって、トラブル時の調査にかかる労力は大幅に削減されます。 structlogはこのようなニーズに合わせて自由にカスタマイズが可能ですが、そのカスタマイズ性の高さは最初の導入ハードルにもなっています。 false トークスライド https://pretalx.com/pyconjp2024/talk/RRRAAT/ https://pretalx.com/pyconjp2024/talk/RRRAAT/feedback/ 20F Track1 Talk 2024-09-27T14:40:00+09:00 14:40 00:30 このセッションでは、ORM という概念にどのような難しさがあるか、我々は ORM に何を期待するのか、Python においてはどのような選択肢があるのかについて考えていきたいと思います。このセッションでは「正解」を提示することはできないと思いますが、みなさんが "なんとなく使っている" (かもしれない) ORM について、少しでも深く理解するためのきっかけを与えることができれば幸いです。 pyconjp2024-50684-orm Web Applications hoto17296 en アプリケーションを開発する際に RDB を組み合わせるケースは非常に多く、アプリケーションから RDB を扱うために ORM と呼ばれるソフトウェア/ライブラリを利用したことがある人も多いでしょう。ORM を使ったことがある人であれば、ORM という概念はそれほど簡単に扱える代物ではないということは同意いただけるのではないでしょうか。 このセッションでは、ORM という概念にどのような難しさがあるか、我々は ORM に何を期待するのか、Python においてはどのような選択肢があるのかについて考えていきたいと思います。このセッションでは「正解」を提示することはできないと思いますが、みなさんが "なんとなく使っている" (かもしれない) ORM について、少しでも深く理解するためのきっかけを与えることができれば幸いです。 - 代表的な ORM とその特徴 - Python の ORM - 他の言語の ORM - ORM 周辺の課題 - インピーダンスミスマッチ - 複雑さ - 型定義 - 最適化 - 非同期処理 - etc... - これからの ORM - ORM に期待するもの - Python における選択肢や実装 false SpeakerDeck https://pretalx.com/pyconjp2024/talk/UTWBAL/ https://pretalx.com/pyconjp2024/talk/UTWBAL/feedback/ 20F Track1 Talk 2024-09-27T15:50:00+09:00 15:50 00:30 皆さんは「PEP 723 – Inline script metadata」（応募時 Status: Final）をご存知ですか？ 私の中ではこれはかなりインパクトの大きいPEPです。 Pythonでスクリプトを書くときの世界がガラッと変わる内容なんです！ Pythonでプロジェクトを開発するとき、仮想環境を使いますよね。 開発者が作って有効にすることもあれば、それをPoetryやHatchなどのツールに任せることもあると思います。 Pythonスクリプトの開発でも同様に仮想環境を使います。 PEP 723が劇的なのは、Pythonスクリプトの動作に必要な依存パッケージを、ツール側で自動で仮想環境にインストールしてスクリプトを動かしてくれるんです！ **開発者はスクリプトのための仮想環境の操作から解放される**んですよ！！ 私はPEP 723を部分的にサポートしたpipx（`pipx run`）を愛用しています。 その中で見えてきた使いこなしtipsと合わせて、皆さんをPEP 723を覗くクイックツアーへご案内します。 ちょっとしたスクリプトがすっごく書きやすくなりますよ〜 pyconjp2024-51318-pep-723-inline-script-metadata--python Features and Development of Python Itself nikkie en # PEP 723とは ref: https://peps.python.org/pep-0723/#example ```python # /// script # dependencies = [ # "requests<3", # "rich", # ] # /// import requests from rich.pretty import pprint resp = requests.get("https://peps.python.org/api/peps.json") data = resp.json() pprint([(k, v["title"]) for k, v in data.items()][:10]) ``` このスクリプトを動かすにはrichやrequestsが必要です。 かつての私は仮想環境を作り、`pip install rich requests`してからスクリプトを動かしていました。 pipxは1.4.2からPEP 723を（部分的に）サポートしており、上のスクリプトは仮想環境を作ることなく`pipx run example.py`と実行できます！ 何が起こっているかと言うと 1. pipxがInline script metadata（`/// script`のコメント）を解釈 2. pipxが管理する仮想環境にdependenciesをインストール 3. 2の仮想環境を有効にしてスクリプト`example.py`を実行 開発者が仮想環境を操作不要なんです！（pipxに任せなさい🙌） この世界を一緒に見ていく30分としたいと思います # アウトライン 自己紹介・まとめ、それぞれ1分ずつ（2分） ## PEP 723の紹介（8分） * Inline script metadataの仕様について * dependencies * requires-python * 提案経緯 * 実装例（手短に） ## PEP 723を実装するツールの紹介（13分） - pip-run（手短に） - pipx * （dependenciesのみの限定サポートですが、とても便利です！） * pipxとはどんなツールか * pipx自体のインストールについて * `pipx install`（手短に） * `pipx run` - PEPによると、Hatchなどもサポートが予定されているので9月時点の最新情報を盛り込みます ## PEP 723をサポートしたpipxでPythonスクリプトを開発・実行しての学びの共有（7分） * よい点1：一度動けば他の開発者の手元でも動く（環境の変化に強い） * よい点2：簡単に依存ライブラリを追加できる 使いこなしtips * `python -i`相当のことをやるには？（pipxのソースコードリーディングから） * エディタ（VS Code）で補完があたるようにするには？ false 発表スライド https://pretalx.com/pyconjp2024/talk/89F3RQ/ https://pretalx.com/pyconjp2024/talk/89F3RQ/feedback/ 20F Track1 Mini Talk 2024-09-27T16:40:00+09:00 16:40 00:15 データ分析基盤を開発しているチームで Snowflake を安全に利用するために、 Turu-py というライブラリを開発した話をします。 pyconjp2024-51375-pydantic-x-database-api-turu-py I created libraries or services yassun7010 en Pydantic 利用したクエリ結果のバリデーションを簡単に行う PEP 249 – Python Database API のラッパーライブラリ Turu-py を作成しました。 チームメンバーは SQL を書くことに慣れており、またデータ分析基盤を扱う関係上、複雑なクエリ文を書くことが多いチームであったため、 ORM ではなく素の SQL を用いて開発をした方が良いと判断し、クエリ結果を型安全に扱えるライブラリを作成しました。 Turu-py の前に、Python 3.12 の Type Parameter Syntax を用いて、型安全なクエリビルダーの開発を検討しましたが、技術的な壁にぶつかったため現実的な解決策をとったものになります。 false Pydantic x Database API：turu-pyの開発.pptx https://pretalx.com/pyconjp2024/talk/ALF9BM/ https://pretalx.com/pyconjp2024/talk/ALF9BM/feedback/ 20F Track1 Mini Talk 2024-09-27T17:00:00+09:00 17:00 00:15 FastAPIはPythonでREST APIを実装するときに使用するライブラリです。リクエスト・レスポンスのバリデーションや認証など様々な機能を備えており、便利なライブラリなので広く使われています。 そのFastAPIですが、パスオペレーションを定義するときに、async をつけることができます。昨今ChatGPTライクなストリームのようにChat表示できるアプリで使用されることもありますが、このasyncにはどのような効果があるのか、どのように使うのかは実は曖昧な人が多いのではないでしょうか。 いくつかのコードをサンプルにasyncを使う場合、使わない場合に分けて負荷試験などを見ながら違いについて発表します。 pyconjp2024-51218-fastapiasync-defdef Practices for Development with Python 佐々木　峻 en このセッションでは、async defはどのようなものかを簡単に説明し、使ったらよい場合と、使ってはいけない場合をそれぞれ説明します。 それぞれ、使った場合と使ってない場合にどのようなことになるか負荷試験結果などを見ながらasync defのベストプラクティスを学んでいきます 1. Pythonにおける並行処理・並列処理・非同期処理 2. マルチスレッドと非同期処理 2.1. GILとは何か 2.2 async/awaitの実装 3. FastAPIにおけるasync defとdefの違い 3.1 async def+同期処理を書いてはいけない 4. async def+同期処理でどうなるのか実験してみる false https://pretalx.com/pyconjp2024/talk/H9EWWL/ https://pretalx.com/pyconjp2024/talk/H9EWWL/feedback/ 20F Track2 Mini Talk 2024-09-27T11:40:00+09:00 11:40 00:15 このミニトークでは、スクリーンリーダーNVDAとRobot Frameworkを用いたシステムテストの自動化について紹介します。主に日本語Windows環境で検証し、独自のテストの組み込み、アクセシビリティサポーテッド（AS）情報への活用を検討します。 スクリーンリーダーは視覚障害者にとって重要なツールであり、ウェブアクセシビリティを確保するためには、これらのツールが適切に動作することが重要です。NVDA は Python で開発されており WAI-ARIA: Authoring Practices Guide に基づいたブラウザテストも Robot Framework で自動化されています。 参加者は、このミニトークを通じて、日本語環境でのスクリーンリーダーテストの重要性とその基本的な実践方法について理解を深めることができます。 pyconjp2024-51321-robot-frameworknvda DevOps, Testing, Documentation, Packaging Takuya Nishimoto en このミニトークでは、以下のポイントを説明します。 1. **背景と重要性**: - スクリーンリーダーNVDAとウェブアクセシビリティ - 日本語環境での動作検証とAS情報 2. **テストのセットアップと実装**: - NVDAとRobot Frameworkの開発環境の構築 - WAI-ARIA: Authoring Practices Guideに基づくテストケースの実行 - 自動テストのカスタマイズ 3. **デモと結果の共有**: - 実際のテスト実行と結果の解析方法を紹介 これらのポイントを通じて、参加者は短時間でスクリーンリーダーを用いたテストの基本的な流れを理解し、実際の開発に応用するためのヒントを得ることができます。また、ウェブアクセシビリティ基盤委員会(WAIC)のAS情報の整備についても触れます。 false Robot FrameworkとNVDAスクリーンリーダーによるアクセシビリティのテスト自動化 https://pretalx.com/pyconjp2024/talk/WJ8TVX/ https://pretalx.com/pyconjp2024/talk/WJ8TVX/feedback/ 20F Track2 Talk 2024-09-27T13:00:00+09:00 13:00 00:30 日本発のデータフレームライブラリFireDucksを紹介します．探索的データ分析や機械学習の前処理などに使われるデータフレームライブラリとしては，老舗のpandasが有名ですが，最近はpolars, modin，そしてFireDucksなど新たなライブラリが登場しています．本トークでは，データフレームライブラリの最新動向を紹介し，FireDucksの開発者である発表者が，FireDucksの紹介を行います． FireDucksの特徴は，pandasとAPI互換で高速であることで，それを実現しているのがFireDucksに搭載された実行時コンパイラです．例えば，長年使われてきたpandasには様々な高速化ノウハウがありますが，FireDucksはそのようなノウハウを自動適用することで，速度を意識して書かれてないプログラムを高速化します．本トークでは，このようなFireDucksで行われている工夫を紹介し，FireDucksの速さの秘訣をデモを交えて紹介します．また，熟練者向けに，FireDucksでの実行時間プロファイルなどを用いた性能チューニング方法も紹介します． 本トークを聞けば，pandasを使い始めたばかりの人から熟練者まで，きっとFireDucksを使ってみたくなるでしょう． ※ FireDucksは`pip install fireducks`でインストール可能です． pyconjp2024-51352-fireducks Data Science, AI Yoshiyuki Ohno en アジェンダ 1. データフレームの最新動向 - データフレームとは？ - pandas, modin, polars等の紹介・比較 2. FireDucksの紹介 - データ増大とpandasの速度課題 - FireDucksのねらい - FireDucksのアーキテクチャ - pandas互換性のための工夫 - 高速化技術 - マルチスレッド化 - 自動最適化 - pandas高速化テクニック - FireDucksでの自動最適化 - FireDucksの導入方法，利用方法 - デモ - データフレームライブラリの性能比較 false slide https://pretalx.com/pyconjp2024/talk/JAFSRP/ https://pretalx.com/pyconjp2024/talk/JAFSRP/feedback/ 20F Track2 Talk 2024-09-27T13:50:00+09:00 13:50 00:30 ネットワーク分析は、人のコミュニケーション、画像、交通網など、様々な領域で見られる相互関係を解釈するために広く用いられる手法です。その自由度の高さと利用用途の広さから、とっかかりづらいと感じることも多いですが、非常に強力なツールです。 本セッションでは、グラフ理論の基礎から始まり、Pythonを用いたネットワークグラフの作成と操作方法、統計的指標を用いたネットワークの理解まで、基礎的な内容をすべてカバーします。 さらに、発表者の所属企業のプロダクト「Commune」における実践的なコミュニティサクセスのためのネットワーク分析の活用事例を紹介します。最後に、ご参加いただいてる皆様がネットワーク分析できるように、一般的なアクセスデータをネットワーク分析の入力データとして変換する方法についても解説します。 このセッションを通じて、ネットワーク分析の基礎から応用事例、データ収集方法までを広く紹介し、自身のプロジェクトに即座に適用できる知識と技術を提供します。 pyconjp2024-51274-python Data Science, AI Higuchi Kokoro en ### 1. 自己紹介, 発表の全体像の紹介（3分） ### 2. ネットワーク分析の基礎（7分） ネットワーク分析の基本概念を紹介します。 - 数学的な表現方法や基礎概念の紹介 - 頂点（ノード）と辺（エッジ）の説明 - 隣接行列と次数分布､辺リストなど - ネットワークの分析の多様なアプローチの紹介 - **森（全体俯瞰）**: - ネットワーク可視化したり、クラスタ係数などの特徴量の計算 - **林（中間レベル）**: - クラスタリングを行ったり、経路上のボトルネックを特定し、ネットワーク内の特徴となる経路やグループの発見 - **木（個別の特徴）**: - 将来の友人関係の予測や口コミ情報の伝搬促進・抑制を行ったり、ネットワークの中で中心的な存在となる頂点を同定するなど - 実世界の事例の説明 ### 3. Pythonでのネットワークグラフの作成と操作（6分） PythonのNetworkXライブラリを用いて、ネットワークグラフを作成し、操作する方法をデモンストレーションします。 - NetworkXの基本： - グラフの作成方法、頂点と辺の追加方法 - 基本操作（ノードやエッジの削除、属性の追加） - 基本的な分析： - 次数中心性、媒介中心性、コミュニティの計算方法と理論の簡単な説明 ### 4. ネットワーク分析の応用（8分） 「Commune」のデータセットを用いた、ネットワーク分析の応用事例を紹介し、コミュニティサクセスにどのように活用できるかを説明します。 - コミュニティの全体像を理解する： - クラスター係数、次数分布とべき則のフィッティングを用いてネットワークを評価 - ネットワークの可視化方法と手法の解説 - 具体的な応用例： - リンク予測による引き合わせたい人のペアの発見 - 中心性指標を用いた中心人物の特定 - ネットワーク上のコミュニケーションのボトルネック（ブリッジの欠如や中心性の偏り）の評価 ### 5. データの取得方法（3分） ネットワーク分析に必要なデータをどのように取得するかについて具体例を紹介します。 - データソース：メール、Slackのユーザーアクティビティログなど、日常的に使用するツールからのデータ収集方法を解説します。 - データの前処理方法：収集したデータをネットワークデータに変換する方法を説明し、二頂点間をつなぐ辺と重みに変換する方法を示します。 ### 6. まとめとQ&A（3分） false Pythonによるネットワーク分析の基礎とコミュニティサクセスへの応用 https://pretalx.com/pyconjp2024/talk/QJZ3UB/ https://pretalx.com/pyconjp2024/talk/QJZ3UB/feedback/ 20F Track2 Talk 2024-09-27T14:40:00+09:00 14:40 00:30 LLMを含め、機械学習技術は快適なアプリケーションを作成する上で、もはや欠かせない存在ではないでしょうか？一方で、「運用」という側面に目を向けると、機械学習はモデルの更新や入出力の変更など、普段のアプリケーション運用とは一味違った問題が出てきますよね。 例えば、以下のような課題があがってくるかと思います。 - 実験した機械学習モデルの再現性がない - モデルのバージョニングがごちゃごちゃになり、どの設定で作ったものかわからない - バッチ実行のたびに重複した処理を繰り返して非効率的 - 似たような関数がプロダクトごとに重複して作られてしまう - 開発者によって書き方がばらつき、他メンバーが読みにくい こうした問題の解決には、「処理結果をキャッシュして、同じ処理は再実行しない」や「モデルとコードとを1:1で対応させる」といった戦略が効果的だと考えられます。これらの課題解決の知見を元に、エムスリーでは、MLOpsのためのライブラリ「gokart」を開発し活用してきました。 この発表では、MLOpsの「あるある」な課題とそれへの対処法に関して、今まで培ってきた知見と実際の実装を紹介していきます。ぜひお楽しみに！ pyconjp2024-50942-mlops---gokart Practices for Development with Python 池嶋大樹 en 本発表は、主にMLOpsでの「あるある」な課題解消にフォーカスしています。 LLMなどの発展もあり、今日では多くのアプリケーションに当たり前のように機械学習技術が組み込まれるようになってきました。 機械学習エンジニアだけでなく、機械学習を活用するアプリケーションに関わる/関わりたい/関わることになりそうな、多くの方に価値をお届けできると考えています。 ## 想定オーディエンス - 機械学習モデルをアプリケーションへの組み込みに苦心している、機械学習エンジニア - データの収集から分析を効率的に実施したい、データサイエンティスト - MLOpsと日々格闘している、データエンジニア/ソフトウェアエンジニア - モデルの再現性やバージョン管理で困っている、リサーチャー ## アジェンダ 導入: 機械学習プロジェクトの「あるある」な課題 - 実験した機械学習モデルの再現性がない - モデルのバージョニングが面倒 - バッチ実行のたびに重複した処理を繰り返して非効率的 - 似たような関数がプロダクトごとに重複して作られる - 開発者によって書き方がばらつき、他メンバーが読みにくい エムスリーでは「あるある」な課題をどう解消してきたのか？ - 再現性: 作成した機械学習モデルのキャッシュを使うので、実験結果を再現できる - モデルのバージョニング: モデル作成のコードとモデルファイルが1:1で対応する - 同じ処理を繰り返す: 処理結果のキャッシュファイルを活用 - 似た関数: 共通タスクを作って共有しやすい - 書き方のばらつき: クラス設計に縛りがあるので似やすい gokartの使い方紹介 - Taskを作る - 依存関係を記述する - パイプラインを実行する さらに効率化するために - パイプラインの記述を1つのTaskに集約 - TaskLockを使った分散処理 もっと知るには？ false 発表資料（speakerdeck） https://pretalx.com/pyconjp2024/talk/3HFBD8/ https://pretalx.com/pyconjp2024/talk/3HFBD8/feedback/ 20F Track2 Talk 2024-09-27T15:50:00+09:00 15:50 00:30 昨今における大規模言語モデル（Large Language Models, LLM）の技術進化は目まぐるしいものがあります。そのようなLLMの活用先の一つに、RAG（Retrieval-Augmented Generation）という技術があります。 RAGとは、LLMによるテキスト生成に外部情報の検索を組み合わせることで、回答精度を向上させる技術です。 本トークでは、AIチャットボットの要件・要求定義といった導入プロセスから、Slack AppとLangChainを用いた開発方法、RAGに必要な文書のベクトル化など、社内文書に基づく回答を行うことのできるRAG機能を搭載したAIチャットボットを、Pythonを用いて低コストで実現した取り組み全般についてご紹介します。 pyconjp2024-51039-ragai Data Science, AI Takanobu Nozawa en ## Overview 私の所属するコネヒト株式会社では、LLMを用いた施策のPoCや業務改善に取り組んでいます。 その中で、AIと気軽に触れ合える環境を提供することが非常に重要であると考え、OpenAI APIのリリース後にSlackからAIを体験できるSlack Appを開発しました。 また、社内文書を参照してAIに回答させたいというニーズの高まりと、RAG（Retrieval-Augmented Generation）という技術の登場により、社内文書に基づいた回答を生成する機能を追加で実装しました。 このRAGシステムをゼロから構築するためには、以下の点を考慮する必要があります。 - データの収集と管理 - ベクトル検索データベースの構築 - コスト管理 - ユーザーインターフェース etc ... 特に、コスト面については多くの方が気になる点ではないでしょうか。LLMを活用する際に避けて通れない考慮事項として、運用コストが挙げられることが多いと思います。 本トークでは、Slackを活用したAIチャットボットの構築と、そのチャットボットに社内文書に基づいた回答を生成させる機能（RAG）を低コストで実装した方法についてお話しします。 前半では、Slack Appで実現するシンプルなAIチャットボットの開発方法について説明し、後半では、AIチャットボットに社内文書に基づいた回答を生成させる仕組み（RAG）の紹介や、RAGを実現する上でのポイントや低コストで実現するTipsについて紹介します。 ## Outline - 導入（3分） - 自己紹介 - 概要説明 - LLMやRAGといった前提知識の共有 - このトークを聞いて得られるものの共有 - OpenAI APIとLangChainを用いたAIチャットボットの開発（10分） - システム構成図の紹介（AIチャットボットの部分） - Slack Appとは - LangChainとは - OpenAI APIとLangChainを用いたAIチャットボットの開発方法 - RAG機能の開発（10分） - システム構成図の紹介（RAG機能も取り入れた全体像） - Notion APIを用いた社内文書取得方法 - LlamaIndexを用いた文書のベクトル化、ベクトル検索機能の実現方法、低コストで実現するためのTips - AIチャットボットをより使いやすくするためのTips（2分） - プロンプトの工夫 - まとめと今後の展望について（2分） false https://pretalx.com/pyconjp2024/talk/JYG9FT/ https://pretalx.com/pyconjp2024/talk/JYG9FT/feedback/ 20F Track2 Mini Talk 2024-09-27T16:40:00+09:00 16:40 00:15 Pythonエコシステムにおいて、HTTPクライアントは非常に重要な役割を果たしています。特にWeb APIを使用したデータのやり取りや取得においては、適切なライブラリ選択が開発速度やアプリケーションのパフォーマンスに大きく影響します。本トークでは、Pythonの代表的なHTTPクライアントであるrequests、httpxなどのライブラリを徹底的に比較し、それぞれの特徴、利点、欠点を詳しく解説します。また、使用例を交えて、どのような場面でどのツールを選ぶべきかについて検討した結果を発表いたします。このセッションを通じて、自身のプロジェクトに最適なHTTPクライアントを選定するための知識と洞察を得ることができます。 pyconjp2024-51359-pythonhttp Web Applications 佐藤樹 en 本トークでは、Pythonの代表的なHTTPクライアントライブラリであるrequests、httpx、urllib3、aiohttpなどを比較し、それぞれの機能、パフォーマンス、使いやすさについて詳しく解説します。特に、同期処理と非同期処理の違いやエラーハンドリングについて具体的なコード例を交えて紹介します。これにより、各ライブラリの強みと弱点を理解し、プロジェクトに最適なHTTPクライアントを選ぶためのヒントを習得することができます。具体的な使用シナリオに応じた推奨ライブラリの選定方法も紹介し、開発者が自身のニーズに最も適したツールを選べるようなヒントをお話します。これにより、HTTPクライアントライブラリの選定において、より確信を持って決定を下せるようになります。 false 発表資料 https://pretalx.com/pyconjp2024/talk/MD99N8/ https://pretalx.com/pyconjp2024/talk/MD99N8/feedback/ 20F Track2 Mini Talk 2024-09-27T17:00:00+09:00 17:00 00:15 RaspberryPi PicoシリーズはLinuxが動作するRaspberry Piとは違い二つのCortex-M0+ プロセッサと264kbのSRAMと限られたリソースを搭載したRP2040というマイクロコントローラーを使った小さな基板のコンピューターです。 このようなマイクロコントローラーにMicroPythonインストールすることで限られたリソース下でもいつものPython感覚でプログラミングをすることができます。 さらに2022年6月に発表されたRaspberryPi Pico Wと呼ばれる機種はWifiとBLE機能が追加されたことで例えばREST APIを呼び取得したデータを基板に接続したディスプレイに表示する、逆に基板に接続したセンサーの値をREST APIに送信するなど応用範囲が広がりました。 発売当初はWifiのみのサポートでBLEは利用できなかったのですが2023年6月からC SDKでのBLEのサポートが始まりその後2023年10月リリースの v1.21.0からMicroPythonでもBLEのサポートが始まっています。 Raspberry Pi Pico W自体も発売当初は手に入りづらかったものですが、今は秋葉原など店頭でも手軽に買えるようになっています 応用範囲も広がり、気軽に買うこともできるようになったのでさらに開発も簡単にできることを伝えようと思い立ちました。 今回のトークでは短い時間ですが基板上のLED、RP2040に内蔵された温度センサーとWifiやBLEでの通信をMicroPythonを使って組み合わせることでマイクロコントローラーでも使い慣れたPythonを使って簡単に開発ができることを紹介しようと考えています。 (通信を主な話題にしたいため、外部のセンサーやディスプレイなどの扱い方については今回は触れないでおこうと考えています) pyconjp2024-51539-micropythonraspberry-pi-pico-w IoT, Hardware, and Networking 中村草介 en false 資料URL https://pretalx.com/pyconjp2024/talk/MJ7GA9/ https://pretalx.com/pyconjp2024/talk/MJ7GA9/feedback/ 4F Track3 Talk 2024-09-27T11:30:00+09:00 11:30 00:30 Numpy is a powerful tool for scientific computing, but large-scale simulations need more. The high-performance computing calls for a custom array library that can be customized in C++ and interact with Python. A great way to do it is to use Pybind11. Just like Numpy, we allow arrays to use various data types while providing a single array type in Python. In C++, we use template generic programming for array code of specific data types. This talk shares the approaches to overcome the "dtype" challenge, so we can leverage the C++ typing information at compile-time for high performance and seamless Python integration. pyconjp2024-51119-crafting-your-own-numpy-do-more-in-c-and-make-it-python I created libraries or services An-Chi Liu en While most people typically use Numpy directly, as it generally meets their needs well, there are specific scenarios where a custom array library is necessary. In high-performance computing, real-time data processing, and large-scale simulations, users may require a library with a Numpy-like interface that offers enhanced performance and greater flexibility. We created an array library similar to Numpy, providing a comparable interface, high performance, and a high degree of customization. While Pybind11 allows us to bind C++ classes to Python objects easily, thus simply binding a C++ array to a Python object, challenges arise regarding the "dtype" of the array. With Numpy, we can create arrays using syntax like `np.array([...], dtype='float64')` to specify the underlying data type as "float64". Despite the specified "dtype", all Numpy arrays are always of the type "numpy.ndarray". In designing a Numpy-like array, we encountered an issue with this "dtype". Considering the C++ array templates with different data types, such as `Array<T>`, each data type results in a different template type, like `Array<int>` or `Array<double>`. However, we want to maintain a single array type on the Python side, so we cannot simply bind `Array<T>` to a Python object. This talk will explain our approach to addressing the "dtype" challenge in building our own Numpy-like library by leveraging C++'s compile-time type knowledge. false Slides https://pretalx.com/pyconjp2024/talk/XXCCQR/ https://pretalx.com/pyconjp2024/talk/XXCCQR/feedback/ 4F Track3 Talk 2024-09-27T13:00:00+09:00 13:00 00:30 Using Python to program physical devices is both possible and fun. Let’s explore what you can accomplish with just a bit of Python, a microcontroller, and a small display by using them to build a digital sundial that you can carry in your pocket. pyconjp2024-50851-fun-with-microcontrollers-building-a-digital-sundial-using-python IoT, Hardware, and Networking Scott Irwin en The objective of this talk is to show how easy it is to build a Python application which runs on a single board computer. It will walk attendees through the steps of getting a Python application running on a microcontroller that is attached to a small display. We use a circle drawn on the display to show the sundial broken into its different parts – dawn, daytime, twilight, and night. In order to correctly calculate the boundaries between these parts, we need the local time for solar day events. For a given latitude-longitude, we can get that data from the sunrise-sunset.org API, the use of which is free (as long as attribution is given). Once we have the details for solar events, we have all the information we need to draw the sundial on the display. The rest of the presentation shows the implementation of the digital sundial - both the Python code and the hardware. NOTE: Depending on which ends up working better, the hardware platform used will either be a Raspberry Pi Zero using CPython or an Adafruit Feather M4 Express using CircuitPython. false Fun With Microcontrollers https://pretalx.com/pyconjp2024/talk/WMF8VY/ https://pretalx.com/pyconjp2024/talk/WMF8VY/feedback/ 4F Track3 Talk 2024-09-27T13:50:00+09:00 13:50 00:30 This talk dives into the exciting realm of enriching your Large Language Model (LLM) interactions with structured data extraction. We'll explore how LangChain, in conjunction with Pydantic, empowers you to retrieve not just plain text from LLMs but also reusable Python objects like lists, dictionaries, and even pandas DataFrames. pyconjp2024-51404-extracting-structured-data-from-llms-with-langchain-and-pydantic Data Science, AI Kalyan Prasad en Join me in this journey to understand and implement structured data extraction. With this powerful combination of tools, you'll learn how to craft data models using Pydantic's BaseModel for seamless integration with LangChain's output parser. Next, how to extract valuable information from LLM responses in structured formats like( lists, data frames), enabling further analysis and manipulation. And finally build supercharge LLM applications that require structured data transformations, parsing, or integration with machine learning models. Whether you're a data scientist, developer, or just curious about the possibilities of LLMs, this talk equips you with the skills to unleash the structured power of LLMs and build innovative applications. 1. Introduction: Highlighting limitations of plain text LLM responses. Introducing structured data extraction from LLMs. Exposure to LangChain and Pydantic's power. 2. Building the Data Model: Demo of defining data models with Pydantic's BaseModel. Exploring lists, dictionaries, and pandas DataFrames. Understanding data model interaction with LangChain's parser. 3. Structured Data Extraction: Live examples of querying LLMs for structured data. Transforming data for analysis. Integrating data with ML models. 4. Real-World Applications: Practical use cases of structured data extraction. Benefits and potential applications discussion. 5. Conclusion: Recap of key learnings and future directions. Exciting possibilities ahead. false https://pretalx.com/pyconjp2024/talk/EKEGTU/ https://pretalx.com/pyconjp2024/talk/EKEGTU/feedback/ 4F Track3 Talk 2024-09-27T14:40:00+09:00 14:40 00:30 Are you looking to take your Python skills to the next level? Join us for an exciting deep dive into the collections module, a powerful part of Python’s standard library that offers specialized data structures beyond the usual lists and dictionaries. We’ll explore using collections to write cleaner, more efficient, and more readable code. From namedtuple to defaultdict, you’ll learn about different data structures and see practical examples of how they can simplify your coding tasks. Whether you're just starting out or looking to optimize your projects, this session will give you the tools you need to make your Python programs more robust and elegant. pyconjp2024-51504-unlocking-the-power-of-python-s-collections-module Practices for Development with Python Italo Carvalho Vianelli Ribeiro en false https://pretalx.com/pyconjp2024/talk/FFMZJD/ https://pretalx.com/pyconjp2024/talk/FFMZJD/feedback/ 4F Track3 Talk 2024-09-27T15:50:00+09:00 15:50 00:30 unittestで使われるpatchを正しくつかうために必要な、名前空間の概念について理解を深めます pyconjp2024-50733-unittest--patch Practices for Development with Python Akira Nonaka en Pythonの公式ドキュメントのpatchの説明の冒頭に次のように書かれています。 ``` 注釈 重要なのは正しい名前空間に対して patch することです。 where to patch セクションを参照してください。 ``` そして「どこにpatchするか」というセクションには次のような説明があります。 ``` 基本的な原則は、オブジェクトが ルックアップ されるところにパッチすることです。その場所はオブジェクトが定義されたところとは限りません。 ``` これを理解するためにはpythonの名前空間、スコープといった概念を理解する必要があります。 - 名前空間とスコープ - import 文の働き - import foo と from foo import barの違い - どこにpatchするのか？ 等について公式ドキュメントをベースに説明します。 false 発表スライド https://pretalx.com/pyconjp2024/talk/AWNVEJ/ https://pretalx.com/pyconjp2024/talk/AWNVEJ/feedback/ 4F Track3 Mini Talk 2024-09-27T16:40:00+09:00 16:40 00:15 In this talk, I'll emphasize Python's pivotal role in addressing cybersecurity challenges, highlighting its versatility and impact. Also, I'll share how I automated Python skills to safeguard the bank corporate site from potential backdoor attacks. Moreover, I will delve into Python's significance across various cybersecurity domains, including OSINT, Penetration Testing, Vulnerability Assessment, Incident Response, Digital Forensics, SIEM/SOAR, Malware Analysis, Behavioral Analysis, and will showcase a few Python tools and libraries that are handy for conducting these tasks, such as Nmap, SQLmap, Impacket, Scapy, Legion, and essential libraries like Requests, BeautifulSoup4, re, JSON, etc. pyconjp2024-51288-python-powered-cyber-security-tools-techniques-exploitation-and-automation DevOps, Testing, Documentation, Packaging Nirmal Dahal en false https://pretalx.com/pyconjp2024/talk/TEHUHS/ https://pretalx.com/pyconjp2024/talk/TEHUHS/feedback/ 4F Track3 Mini Talk 2024-09-27T17:00:00+09:00 17:00 00:15 This session explores how Python empowers web development accessibility. We'll discuss using Python libraries like Selenium and PyTest to automate accessibility testing, enabling early detection of issues. Additionally, we'll delve into how Python's data analysis capabilities (NumPy, Pandas) aid accessibility research, allowing analysis of testing data and user behavior to improve evaluation methods. By making websites accessible, we create an inclusive and enjoyable web experience for everyone. pyconjp2024-50985-building-accessible-web-experiences-with-python Web Applications Khushboo Verma en Imagine the web as a giant library, but some people can't get in because the stairs are too high, the door is too narrow, or the signs are only in braille. That's what happens when websites aren't accessible! In this session, we'll explore how Python acts as a powerful toolkit for championing accessibility in web development. We'll delve into two key areas: 1. Automating Accessibility Testing with Python: We'll discover how libraries like Selenium and PyTest can be leveraged to create automated tests that simulate user interactions with disabilities. This approach will equip you to identify and resolve accessibility issues early in the development process. 2. Leveraging Python for Accessibility Research: We'll explore how Python's data analysis capabilities, through libraries like NumPy and Pandas, empower accessibility research. We'll discuss how researchers use Python to analyze data from accessibility testing tools, discover user behavior patterns, and contribute to the creation of improved accessibility evaluation methods. And why do we need to discuss this? Think of it like building a ramp next to the stairs in the library. It doesn't just help people with wheelchairs, it also helps parents with strollers, people carrying heavy bags, and anyone who just wants an easier way in. Web accessibility is like that ramp, making the web more inclusive and enjoyable for everyone! false Slides https://pretalx.com/pyconjp2024/talk/NQSJWY/ https://pretalx.com/pyconjp2024/talk/NQSJWY/feedback/ 4F Track4 Talk 2024-09-27T11:30:00+09:00 11:30 00:30 コンピュータに詳しいメンバーが便利な業務システムを作ってくれたけど、そのメンバーがいなくなった後で困る、というのはよくある話です。とはいえ、書いてくれたコードを理解することができれば、そのシステムを維持していくことはなんとか可能です。 私の部署でも5年前、コンピュータに詳しいメンバーがパソコンサーバーを組み立て、Ubuntuをインストールしてそのマシン上にPythonで便利な業務システムを作ってくれました。そのメンバーが抜けた後も、残されたメンバーでドキュメントを整備したり、テストを書いたりしてなんとか維持運用してきました。でも動かなくなってしまうと業務上困るので、OSやPythonのバージョンはそのままにしていました。いわばツケを5年にわたって溜め続けている状態でした。 そんな中、気がつけばUbuntuもPythonもサポート期間が終了してしまい、パソコン本体の保守期間も切れたため、システムを別マシンに移行することが決まりました。 このトークでは5年分の環境変化に一気に対応するために生じた様々な問題（詳細欄参照）を解決するための苦労話を通じて、みなさんが同じ轍をふまないための教訓をお伝えしたいです。 pyconjp2024-50026-5 Practices for Development with Python soogie en ## トークを通じて伝えたいこと 問題なく動いているシステムを修正するリスクをとるのは怖い。特にドキュメントもテストもなく、書いた本人もいなくなったコードが業務で使われている場合はリスクしかない、と言っても良い。そういう状況下ではpandasやnumpyといったパッケージがバージョンアップしたというだけの理由で新しいバージョンに対応するためだけの修正は先送りされがちである。 私は、「ドキュメントなし、テストなし、書いた本人もいない」という状態で引き継いだコードにドキュメントをつけ、テストを書き、自分以外のメンバーもそのコードをメンテナンスできるようにレクチャーをしてきたが、パッケージのバージョンアップ対応は避けてきていた。言い訳になるが工数的な余裕がなかったこともあるし、非エンジニア組織なので周囲の理解が得にくいという状況もあってリスクをとる勇気がなかった。 今回、諸事情から別マシンへの移行を余儀なくされるにあたり、移行のための工数確保が認められたので、これ以上の先送りはやめよう、とPythonのバージョンを3.6から3.11に上げる決断をした。 このトークでは移行にあたって直面した、さまざまな問題の中から、サードパーティパッケージのバージョンアップに伴って発生した問題点5つに絞ってご紹介する（OSやネットワーク環境の変更にともなう問題もいろいろあったが割愛）。 問題点配下の通り（トークでは原因をどう見つけたかも含めて説明予定） ### 問題1：pandasのエラーチェックが厳しくなった pandas.DataFrame.to_dict()関数でエラー発生。原因はorientパラメタのtypo。以前のpandasでは1文字目だけ見て判断していたので"records"とすべきところが"record"でも"recrods"でも動作していたが、pandas2.0以降は”records”と正しく書かないとエラーになる。typoを修正することで解決 ### 問題2: scikit-learnのモジュールのパラメータ仕様が変わった（3分） sklearn.linear_model.LogisticRegressionクラスのsolverパラメータのデフォルト値が以前はliblinearだったのが0.22以降lbfgsに変わったため、penalty="l1"を指定するとエラーになる。solver="liblinear"と明示的に指定することで解決 他にもimblearn.under_sampling.RandomUnderSamplerクラスのratioパラメータ廃止など、複数のモジュールで問題発生。個別に解決した ### 問題3: mongodbのAPI変更に伴いpymongoの関数も変わった（3分） 以前のpymongoではcollection.save()関数で、レコード追加なのかレコード更新なのかをいい感じに判断してくれていたがMongoDB4.2以降でdb.collection.save()というAPIが廃止されたためpymongoでも使えなくなった。insert_one()関数かreplace_one()関数かを明示的に指定することで解決 ### 問題4: PyPIのborutaパッケージが2019年以降更新されておらず最新のnumpyに対応していない（3分） PyPIのborutaパッケージを呼び出して使っているが、このパッケージが2019年以降更新されておらず、内部でnp.intやnp.floatを使っている。np.intやnp.floatはnumpy1.20で廃止されておりこのままではエラーになる。 パッケージのソースコードにパッチを当て、np.intをnp.int32、np.floatをnp.float64などに修正することで解決 ### 問題5: 保存したpickleを読み込むとエラー（5分） 機械学習で作成したモデルをpickle形式で保存し、後日呼び出せる仕組みになっていたが、scikit-learn0.23のときにあったsklearn.preprocessing.dataモジュールがscikit-learn1.3では名前が変わっており過去に作ったpickleを呼び出すとエラーになる（他にもいくつか同様のモジュールあり） これはデータの問題でありコード修正では解決できない。部署内で相談のうえ、過去の分析結果は新環境に引き継がないという判断をして解決（過去データを呼び出して利用する仕組みは別途構築） ## 得られた教訓と今後に向けて ドキュメントもテストもない、という状態で4年前に引き継いだコードにドキュメントをつけ、テストを書き、複数メンバーでコード修正ができるようにPython講習も重ねてきたが、リファクタリングは先送りしていた。 常に、とまでは言わないが定期的に最新の環境下でリファクタリングが実施できていれば、今回紹介した5つの問題に同時に直面する、ということはなかったはず。 安心してリファクタリングができるようになるためには、ドキュメントやテストがちゃんとしているということは前提。新規に作るものはドキュメントとテストを最初からきちんと用意し、その上で定期的なリファクタリングをおこなうための工数を確保していきたい。 ## 目次と30分の時間配分案 - 自己紹介（2分） - 概要説明（5分） - 発生した問題とその解決方法（解決難度の低い順。5つの問題計16分） - 問題1: pandasのエラーチェックが厳しくなった（2分） - 問題2: scikit-learnのモジュールのデフォルトパラメータが変わった（3分） - 問題3: mongodbのAPI変更に伴いpymongoの関数も変わった（3分） - 問題4: PyPIのborutaパッケージが2019年以降更新されておらず最新のnumpyに対応していない（3分） - 問題5: 保存したpickleを読み込むとエラー（5分） - 得られた教訓と今後に向けて（5分） （バッファ2分） false 発表スライド https://pretalx.com/pyconjp2024/talk/VEECBQ/ https://pretalx.com/pyconjp2024/talk/VEECBQ/feedback/ 4F Track4 Talk 2024-09-27T13:00:00+09:00 13:00 00:30 Over the past few years digging into Python's runtime and language features, I've often run into some weird, obscure parts of the language. **Very** weird and obscure parts. Such as imports being hackable enough to directly import JSON files. Or being able to change the syntax of the language, _at runtime_. And I'd note them down. All the weird, esoteric, not-to-be-named features of the language. And eventually, I'd find some way to abuse that feature. Do something heinous. Write code that would make any code reviewer question my sanity. _Committing crimes_, with the Python syntax. This talk is an explainer of all these features, and why you should **never use them**. Unless, of course, you need to. pyconjp2024-51553-crimes-with-the-python-syntax Practices for Development with Python Tushar Sadhwani en Outline: - Introduction (2 minutes) - The convoluted Python import machinery (5 minutes) - Frame-hacking, and the `sys._getframe()` API. (5 minutes) - Tracers, debuggers, and changing your code at runtime. (5 minutes) - Bonus: `goto` statements in Python? (3 minutes) - Creating our own mini language inside Python, at runtime. (7-8 minutes) - Abusing the Python startup machinery to run arbitrary code. (7-8 minutes) - The end, and questionnaire. (10 minutes) false https://pretalx.com/pyconjp2024/talk/HT8JWU/ https://pretalx.com/pyconjp2024/talk/HT8JWU/feedback/ 4F Track4 Talk 2024-09-27T13:50:00+09:00 13:50 00:30 Have you ever had a frustrating experience with a customer support chatbot? Issues like misunderstandings, irrelevant responses, and endless loops without reaching a human agent are common. So why do we use AI for sending automatic replies to customer inquiries at Mercari? Does it benefit customers? How do we ensure a positive experience? Along with answering these questions, in this talk, we will look at the design of our highly precise system using machine learning for automatic replies. We will focus on Python content in sections about introduction to transformers, fine-tuning pre-trained transformer models on Japanese text, and the design and training of our ML model. Lastly, we'll discuss our A/B testing methodology and the impact on business metrics from using automatic replies. pyconjp2024-51531-ai-powered-automatic-replies-in-customer-support-precision-focused-approach-at-mercari Data Science, AI Prashant Anand en Outline: - Introduction (2 minutes) - Who am I? - Problems with chatbots in customer support - So why do we use AI for customer support? (3 minutes) - Examples of repetitive and trivial inquiries suitable for automatic replies - Examples of inquiries where no action is needed, and only information needs to be conveyed - Benefits to customers: instant response and resolution - Benefits to businesses: cost savings - Ensuring a good experience with AI replies (3 minutes) - Importance of precision in sending automatic replies - Design choices for a good customer experience - One-click escalation to human support agents - Automatic replies only sent as the first response - Designing a precise system for automatic replies (17 minutes) - Analyzing raw data to identify common inquiry patterns (1 minute) - Utilizing metadata for extra context (transaction status, shipping method, item price, etc.) (1 minute) - Introduction to transformers and their usage for text classification (5 minutes) - Introduction to fine-tuning pre-trained transformer models for text classification on Japanese text (5 minutes) - Designing and training ML models using inquiry texts and metadata (3 minutes) - Calibrating precision using output thresholds (1 minute) - Running A/B tests and impact on business metrics (1 minute) - Conclusion (2 min) - Q&A (3 min) --- Audience: Developers, data scientists, ML engineers, and business leaders interested in using AI to solve business problems including enhancing customer support operations. --- Outcome: By attending this talk, the audience will gain insights into how AI can be effectively used to enhance customer support while maintaining a positive customer experience. They will learn about the importance of precision in sending automatic replies, the process of analyzing customer inquiry data, and the use of machine learning techniques for text classification. The talk will also discuss the impact of implementing AI-powered automatic replies on business metrics. false Slides https://pretalx.com/pyconjp2024/talk/EWJ8XJ/ https://pretalx.com/pyconjp2024/talk/EWJ8XJ/feedback/ 4F Track4 Talk 2024-09-27T14:40:00+09:00 14:40 00:30 CPython 3.13 introduces a new experimental optimization pipeline that cumulates into a JIT. This talk gives an overview of the components of the optimization pipeline as of CPython 3.13 and plans for future versions of CPython. The talk will focus on the Trace Optimizer and briefly cover experiments the speaker is personally involved in before the final version currently in CPython 3.13 implemented by Ken Jin. You don’t have to be a compiler or CPython expert to attend – this talk aims to be accessible and self-contained so hopefully, everybody can gain something from it. pyconjp2024-50897-an-overview-of-the-optimisation-pipeline-in-cpython-3-13-and-onwards Features and Development of Python Itself Jules Poon en false Slides and script https://pretalx.com/pyconjp2024/talk/SQAQXW/ https://pretalx.com/pyconjp2024/talk/SQAQXW/feedback/ 4F Track4 Talk 2024-09-27T15:50:00+09:00 15:50 00:30 Python 3.12 introduced a new parallel execution model called "sub interpreters" that uses a per-interpreter GIL to unlock a new way of writing parallel code that's faster than multiprocessing. Python 3.13 introduces another new parallel execution model called "free-threading" (previously called no-gil) that replaces that optionally removes the GIL so that threads can truly be parallel. Does free-threading make sub interpreters redundant? We'll answer that question in this talk. pyconjp2024-51126-unlocking-the-parallel-universe-subinterpreters-and-free-threading-in-python-3-13 Features and Development of Python Itself Anthony Shaw en Python 3.12 introduced a new parallel execution model called "sub interpreters" that uses a per-interpreter GIL to unlock a new way of writing parallel code that's faster than multiprocessing. Python 3.13 introduces another new parallel execution model called "free-threading" (previously called no-gil) that replaces that optionally removes the GIL so that threads can truly be parallel. Does free-threading make sub interpreters redundant? We'll answer that question in this talk. We unpack what sub interpreters are, how to use them and their limitations. We'll explore free-threading, the optional flag to remove the GIL in 3.13. Finally we look at a use case for sub interpreters and free-threading together, a multi-worker, multi-thread ASGI web server. We benchmark this against traditional web server architecture with multiprocessing and threading. So fasten your seatbelts, fellow Pythonistas! Let’s ride the comet tail of parallelism, leaving behind the single-threaded past. 🚀✨ false https://pretalx.com/pyconjp2024/talk/A8BQEF/ https://pretalx.com/pyconjp2024/talk/A8BQEF/feedback/ 4F Track4 Mini Talk 2024-09-27T16:40:00+09:00 16:40 00:15 Coding aesthetics, in this context, refers to how code is written. It is essential that programmers also pay attention to the aesthetics and not just the functionality the code aims to achieve. There are several ways to make Python code aesthetically pleasing, such as code refactoring, using static code analysis tools like PyLint to check compliance with PEP8 guidelines, and applying syntactic sugar. The talk mainly covers the importance of style in coding and the available tools and techniques for Python programmers that help maintain coding aesthetics. pyconjp2024-51512-the-sense-of-style-a-talk-on-coding-aesthetics Practices for Development with Python Shiva Bhusal en false Presentation Slides https://pretalx.com/pyconjp2024/talk/FV9HPZ/ https://pretalx.com/pyconjp2024/talk/FV9HPZ/feedback/ 4F Track4 Mini Talk 2024-09-27T17:00:00+09:00 17:00 00:15 In the Mercari Group’s Trust and Safety ML Team, we provide solutions to ensure the safety of the users. Examples of the solutions we provide include anti-money laundering countermeasures, credit card fraud detection, and many others. Some of these solutions are powered by machine learning models. In order to be as reactive as possible to emerging frauds, it is important to streamline the model improvement and deployment processes. In this talk, we will explain our platform and automation, and how each element helps us rapidly deploy new countermeasures. We will cover all MLOps steps: experimentation, training/deployment, evaluation, and metric monitoring. We hope our talk benefits those integrating DevOps into their ML solutions or building ML platforms, especially with GCP’s Vertex AI. pyconjp2024-50689-mlops-in-mercari-group-s-trust-and-safety-ml-team DevOps, Testing, Documentation, Packaging Calvin Janitra HalimAyato Toyokuni en false Presentation Slides https://pretalx.com/pyconjp2024/talk/DTM3D8/ https://pretalx.com/pyconjp2024/talk/DTM3D8/feedback/ 20F Track1 Talk 2024-09-28T10:20:00+09:00 10:20 00:30 2010年台にUTF-8の利用率は大幅に成長しました。 インターネット上のテキストは多くがUTF-8ですし、PythonのソースコードもUTF-8が標準です。 VSCode等の開発者向けテキストエディタはもちろん、今ではWindowsのメモ帳もUTF-8が標準です。 常にUTF-8を使う事で、文字化け等の問題も減り、プログラミングの初学者が文字エンコーディングを気にする必要もなくなりました。 一方で、いまだにPythonはデフォルトでUTF-8を使わないケースが存在します。 初学者が、テキストファイルを作成してPythonで読もうとするだけで、 UnicodeDecodeError に遭遇してしまうのです。 この状況を解決するため、私は PEP 686 を提案しました。このPEPはPython 3.15で実装される予定です。 この講演では、 Python 3への移行からPEP 686までの、PythonのデフォルトUTF-8化に向けた取り組みを紹介します。 pyconjp2024-54945-pythonutf-8 稲田 直哉 en false https://pretalx.com/pyconjp2024/talk/EHFVUR/ https://pretalx.com/pyconjp2024/talk/EHFVUR/feedback/ 20F Track1 Talk 2024-09-28T11:10:00+09:00 11:10 00:30 Cloudflare Workers（https://developers.cloudflare.com/workers/）はサーバーレス アプリケーションをデプロイできるプラットフォームです。 対応言語はJavaScript、TypeScript、Rustでしたが、今年4月、ここにPythonが加わりました（https://blog.cloudflare.com/python-workers）。 このトークでは、Cloudflare WorkersでPythonを使用する方法と、内部の仕組みについて説明します。 なお、Cloudflare WorkersのPythonサポートはプロポーザル提出時点でオープンベータ版です。正式版では仕様が異なる場合があることをご注意ください。 pyconjp2024-51047-cloudflare-workers-in-python Web Applications Ryuji Tsutsui en ## Cloudflare Workersとは何か まず前提として、Cloudflare Workersの概要を説明します。 ## Cloudflare WorkersでPythonを使う方法 サンプルアプリケーションを元に、Cloudflare WorkersでPythonを使う方法を説明します。PythonのWeb開発では一般的なやり方がCloudflare Workersでは使えないケースがいくつかあります。これらについても説明します。 ## Cloudflare Workers上でどうやってPythonが動いているのか Cloudflare Workersでは、Pythonを動かすためにPyodideというWebAssembly製Pythonインタプリタを使っています。ここではなぜPyodideを採用したのか、どういう仕組みでPythonを動かしているのかを説明します。 false Cloudflare Workers in Pythonでサーバーレスアプリケーションを作ろう https://pretalx.com/pyconjp2024/talk/KY8DQW/ https://pretalx.com/pyconjp2024/talk/KY8DQW/feedback/ 20F Track1 Talk 2024-09-28T12:40:00+09:00 12:40 00:30 近年のPythonは型ヒントの強化が活発で、メジャーアップデートのたびに便利な機能が追加されています。 さらに型ヒントを活用するライブラリやツールも多く登場し、コミュニティからの絶大な人気を集めています。 プログラミング言語における「型付け」の活用方法として真っ先に思い浮かぶものは、静的解析により型の不整合を検出し、バグや実行時エラーを減らすことでしょう。 しかし、Pythonのエコシステムでは、従来の枠にとらわれない多種多様なアイディアで型ヒントが活用されています。 具体的な活用例としては次のようなものがあります。 - FastAPI - APIドキュメントの自動生成 - Dependency Injection - Pydantic - データバリデーション - SQLAlchemy 2.0 - データベース内のデータ型の決定や制約の付与 本セッションでは、これらのライブラリがそのアイディアをどのように実装しているかについて紹介します。 Pythonの型ヒントはまだまだ多くの可能性を秘めていると思います。 本セッションを通じて、普段の開発で型ヒントをより便利に活用し、新たなアイディアを自身の手で具体化していきましょう。 pyconjp2024-50545 Practices for Development with Python Rei Suyama en 近年のPythonは型ヒントの強化が活発で、メジャーアップデートのたびに便利な機能が追加されています。 さらに型ヒントを活用するライブラリやツールも多く登場し、コミュニティからの絶大な人気を集めています。 プログラミング言語における「型付け」の活用方法として真っ先に思い浮かぶものは、静的解析により型の不整合を検出し、バグや実行時エラーを減らすことでしょう。 しかし、Pythonのエコシステムでは、従来の枠にとらわれない多種多様なアイディアで型ヒントが活用されています。 具体的な活用例としては次のようなものがあります。 - FastAPI - APIドキュメントの自動生成 - Dependency Injection - Pydantic - データバリデーション - SQLAlchemy 2.0 - データベース内のデータ型の決定や制約の付与 本セッションでは、これらのライブラリがそのアイディアをどのように実装しているかについて紹介します。 Pythonの型ヒントはまだまだ多くの可能性を秘めていると思います。 本セッションを通じて、普段の開発で型ヒントをより便利に活用し、新たなアイディアを自身の手で具体化していきましょう。 false 実例から学ぶ 型ヒントの活用手法 https://pretalx.com/pyconjp2024/talk/LXVHNY/ https://pretalx.com/pyconjp2024/talk/LXVHNY/feedback/ 20F Track1 Talk 2024-09-28T13:30:00+09:00 13:30 00:30 ここ数年PythonのWeb開発において目立つ存在になっているFastAPIについて、FastAPI開発者が提供する[サンプルのリポジトリ](https://github.com/tiangolo/full-stack-fastapi-template/)では、データ操作のためのパッケージとして[SQLModel](https://github.com/tiangolo/sqlmodel)というORMが使われています。 クラス定義はPydantic、クエリはSQLAlchemyをベースとしているSQLModelは直感的で使いやすいですが、それゆえに使い方のノウハウが少ないように思えます。 このトークでは、SQLModelの基本的な使い方を話しながらPydantic/SQLAlchemyとの違いにも触れていきます。 ## 構成 * SQLモデルでのモデルクラスの書き方 * クエリの書き方 * 静的解析ツールの設定方法 * alembicを使ったデータベースのスキーマの変更管理 * FastAPIのアプリ内での使い方 ## 対象者 - Djangoなど別のORMを使ったことがあるが、SQLModelには馴染みのない方 ## 話さないこと - SQLの基本的な構文(SELCT, INSERT, JOINなど) - 素のPythonでの型ヒントの基本的な構文 - 複数DBに接続する場合など応用的な使い方 pyconjp2024-51550-sqlmodel Web Applications Mizuki Sato en 「SQLモデルでのモデルクラスの書き方」では下記を話します。 * 基本的な型定義(int, strなど) * Fieldクラスのオプション(default, primary_key, indexなど) * 外部キー接続のある項目の型定義 * One to Many * Many to Many * SQLAlchemyでの定義の方法との比較(よしあしではなく、単純な構文の違いとして) 「クエリの書き方」では下記を話します。 * SELECT * JOIN * 集計関数 * INSERT * UPDATE * DELETE * SQL文の確認方法 * クエリの返り値の型ヒントの付け方 「FastAPIのアプリ内での使い方」では下記を話します。 * FastAPI開発者が提供するサンプルのリポジトリのユーザーを作成するAPI、ユーザーを取得するAPIのリクエストが送られてからDBにアクセスし、レスポンスを返すまでの流れを解説 false 発表スライド https://pretalx.com/pyconjp2024/talk/MXKU77/ https://pretalx.com/pyconjp2024/talk/MXKU77/feedback/ 20F Track1 Talk 2024-09-28T14:20:00+09:00 14:20 00:30 # 概要 ビッグデータ分析の為のデータ可視化アプリケーションを[Dash](https://dash.plotly.com/)で実装した際の知見とノウハウを紹介します. Pandasのデータを元にシンプルなグラフで可視化する方法は勿論の事, 業務で使う際に検討・実装すべきことである, - 本番環境（クラウド）へのデプロイと公開 - Dashアプリケーションの認証認可 - 動的URLを用いたマルチページアプリケーションの実装 以上の実践的なノウハウについても実装を元に紹介します. 社内でのデータ利活用, プロトタイプ・PoC目的でのWebアプリケーション構築・運用でのノウハウが欲しい方におすすめします. # 技術スタック（簡易版） - Dash - Pandas - Google Cloud（Cloud Run, Cloud Build, Artifact Registory） # 本トークで話すこと - Dashでアプリケーションを構築する際の基本 - Dashアプリケーションのデプロイおよびクラウドでの公開方法 - Dashアプリケーションでの認証認可 - マルチページ化他, 実践的な実装ノウハウ - 実際のData可視化事例 # 本トークで話さないこと - データ可視化の基本（Matplotlib, Seaborn, etc...） - データ分析の基本（Pandas, Numpy, etc...） - DevOpsおよびCI/CD pyconjp2024-50163-dash-web Web Applications Shinichi Nakagawa(@shinyorke) en # 実践Dash - 手を抜きながら本気で作るデータ可視化Webアプリの基本と応用 データ可視化アプリを手早く開発するFramework「[Dash](https://dash.plotly.com/)」を使って実装・運用した際に得たノウハウを紹介します. - 本番環境（クラウド）へのデプロイと公開 - Dashアプリケーションの認証認可 - 動的URLを用いたマルチページアプリケーションの実装 - Streamlitなど, 同様のWebアプリケーションフレームワークとの比較 以上の実践的なノウハウについても実装を元に紹介します. ## Summary 私は野球データ, 主にメジャーリーグのデータ分析・AIを使った成績予測等を効率的に行うため, 公開データを用いてデータ可視化・分析を行うデータ基盤を開発しました. 開発したシステムの一部として, TableauやPowerBI, Looker StudioなどのBIツールではなく, Python製のWebアプリケーションを用いてデータ可視化を行いました. Streamlitなど, いくつかの候補の中から「Dash」を選択し, 開発・運用をしましたがその際にいくつかの経験を得ました. - 本番環境（クラウド）へのデプロイと公開 - Dashアプリケーションの認証認可 - 動的URLを用いたマルチページアプリケーションの実装 - Streamlitなど, 同様のWebアプリケーションフレームワークとの比較 - そもそもBIツールで良いのでは? これらはPython使いの興味関心は勿論のこと, すべてデータ基盤開発, 運用などで再現性がある話題であると認識しており, 本トークにて知見やノウハウを共有します. ## Agenda 本トークで予定しているAgendaとなります. 1. 自己紹介 1. Dash基本編 - Hellow World - Pandasとの連携 - Plotlyのグラフを埋め込む - RESTful APIとの連携 1. Dash応用編 - Single PageからMulti Pageに作り変える - 認証認可を実装する - Google Cloud（Cloud Run）にデプロイする 1. Dashとアレを比べる - DashとStreamlit - DashとBIツール 1. 実際に作ったアプリの紹介 - メジャーリーグデータの可視化 - マルチページを使った実践的な運用 1. 結び ## Reference 本トークの前提となる過去資料は以下の通り. - [PythonとGoogle Cloud, Spreadsheetで「自分のためのスポーツ観戦DX」をプロダクト化して実現した話(2024/5公開).](https://shinyorke.hatenablog.com/entry/baseball-data-transformation-2024) - [Dashで作った分析ダッシュボードをCloud Runでサクッと運用する(2022/11公開)](https://shinyorke.hatenablog.com/entry/cloud-run-and-dash) false https://pretalx.com/pyconjp2024/talk/LDEGFV/ https://pretalx.com/pyconjp2024/talk/LDEGFV/feedback/ 20F Track1 Talk 2024-09-28T15:30:00+09:00 15:30 00:30 WEBアプリケーションでは、大量のメール配信や画像生成など、実行時間がかかる処理は非同期で実行するのが一般的です。弊社のあるDjangoプロジェクトでは、非同期処理にCeleryを使用していましたが、性能面の課題を解決するために、一部をAWS Lambdaに移行しました。Lambdaの実装にもPythonを使用しています。本番稼働中のWEBアプリケーションでLambdaを使って大量の非同期処理を処理するには、様々な知見が必要でした。SQS、S3、DynamoDBといった他のAWSサービスと連携する必要もありました。また、PythonでLambda関数を実装する際には、amazon-sqs-python-extended-client-libやpowertools-lambda-pythonなどのライブラリを使用することで、ビジネスロジックに関係のない処理はライブラリに任せて生産性を高めることができます。本セッションでは、移行プロジェクトで得られたこれらの知見を共有します。具体的なメール配信処理の事例を基に話しますが、Lambdaを用いた非同期処理を検討している方にとっても参考になる内容です。 pyconjp2024-51291-webaws-lambda Web Applications Masataka Okudera en ### 導入 まずは一般論として、WEBアプリケーションにおいて大量のメール配信や画像生成など、実行時間がかかる処理は非同期で実行するのがよい理由を簡単に確認します。次にPythonで非同期処理を実装する場合に最初に候補に上がるライブラリであるCeleryを紹介します。そして題材とするWEBアプリケーションにおいて、一部をAWS Lambdaに移行する前のCeleryを使用したアーキテクチャとその課題を説明します。 ### メイン AWS Lambdaに移行後のアーキテクチャを説明します。その後に、具体的にAWS Lambdaを用いてどのように実装したかや、以下のような本番のアプリケーションでAWS Lambdaを使用する上での課題とその解決策を説明します。その際に、[amazon-sqs-python-extended-client-lib](https://github.com/awslabs/amazon-sqs-python-extended-client-lib)や[powertools-lambda-python](https://docs.powertools.aws.dev/lambda/python/latest/)といったPythonライブラリを使用することで実装量を削減することができ、開発者はビジネスロジックの実装に集中できるようになることを合わせて説明します。 - SQSの256KB上限問題 - amazon-sqs-python-extended-client-libとS3の使用 - Lambdaの処理のエラーハンドリング - リトライ - デッドレターキュー - batchItemFailures - Powertools for AWS LambdaのSQSサポート機能 - 各種AWSサービスのタイムアウト系のパラメータ - 冪等性の担保 - DynamoDB - Powertools for AWS Lambdaのidempotency機能 ### おまけ 時間があったらテストやデプロイなどのトピックにも軽くふれます。 ### 話さないこと - 各種AWSサービスの基本的な説明 - アーキテクチャの選定理由 false 登壇スライド(Speaker Deck) https://pretalx.com/pyconjp2024/talk/TPXKZ9/ https://pretalx.com/pyconjp2024/talk/TPXKZ9/feedback/ 20F Track1 Talk 2024-09-28T16:20:00+09:00 16:20 00:30 本発表では、Pythonの主要なWebフレームワークであるDjangoとFastAPIを使用しての認証技術に焦点を当てており、それぞれの認証技術の仕組みや開発時のベストプラクティスについて解説します。 本発表ではSPA + WebAPI構成でのバックエンドのRESTful APIにおける認証技術の概要、種類、そしてその実装方法について詳細に解説します。メールアドレスとパスワードによる一般的なログイン認証について重点的に説明し、OAuthなどについては扱いません。 発表の前半では、認証の基本概念と仕組みについて説明します。 認証の基本的な知識であるステートレスとステートフル認証の違いとそのメリット・デメリットについてもお話しします。 特に、ステートレス認証のトークン管理の実際の手法や、セキュリティ上の考慮事項についても深堀りします。 次に、DjangoとFastAPIそれぞれのフレームワークでの認証部分の実装方法を具体的なコード例とともに紹介します。 Djangoでは、トークンベースの認証、JWT（JSON Web Token）を利用した仕組みや実装についても触れ、デフォルトの認証機構との違いについてもお話しします。 また、django-ninjaやdjango-restframeworkなどのプラグインを使用した際のそれぞれの認証の内部仕組みや違いについても詳述します。一方、FastAPIでは、JWTを用いた認証の実装方法を中心に説明します。 最後に、これらの技術を組み合わせたシステム設計のベストプラクティスと、現場での実際の適用例についてもお話しします。 pyconjp2024-51231-djangofastapi Web Applications 大島和輝 en 今日ではSPA + WebAPIなどによるフロントとバックエンドを分ける構成が増えてきています。そのため、DjangoやFastAPI上でその構成を考慮した認証の仕組みを開発する必要があります。 開発者がDjangoおよびFastAPIを使用して安全かつ効果的なWebアプリケーションを構築するための認証技術を理解し、実際のプロジェクトで即座に応用できるような知識やノウハウをお話ししていきます。 特に、ステートレス認証とステートフル認証の概念や違い理解し、認証の種類や仕組みなど適切な場面での利用方法などをお話しします。 アジェンダ - 認証の基本概念と重要性 - 認証とは何か、その役割と必要性 - 認証と認可の違い - ステートレス vs ステートフル認証 - セッション認証とトークン認証の基本概念と仕組み - 両者の違いと利点・欠点 - トークン管理とセキュリティ考慮事項 - Djangoにおける認証技術 - デフォルトの認証機構の概要 - トークンベースの認証と実装 - JWTの認証と実装 - django-ninjaやdjango-restframeworkの認証の内部仕組み - FastAPIにおける認証技術 - トークンベースの認証と実装 - JWTの認証と実装 - 実際の適用例とベストプラクティス - システム設計における実例 - 弊社での成功事例とそこで直面した課題とその解決策 false https://pretalx.com/pyconjp2024/talk/7SCEYW/ https://pretalx.com/pyconjp2024/talk/7SCEYW/feedback/ 20F Track1 Talk 2024-09-28T17:30:00+09:00 17:30 00:30 1990年代半ばからPythonを使い始めた、古参のPythonユーザです。使い始めたときには30年近くにわたっての長い付き合いになるとは思っていませんでしたが、最初に目にしたときから「このプログラミング言語は使える」と感じて、情報交換のための日本語によるメーリングリストを開設したり、ドキュメント翻訳翻訳プロジェクトをはじめたりしました。また、この当時のPythonは日本語環境のWindowsではまともに使えなかったので、日本語パッチ版の開発などを行っていました。 元々の仕事はC/C++が主でそれほどPythonは使っていませんでしたが、 Pythonの比率は徐々に上がっていき、今ではほぼPython専業な状態になってきました。 I am a veteran Python user who started using Python in the mid-1990s. I never imagined back then that it would become a nearly 30-year relationship. However, from the moment I first encountered it, I felt that “this programming language is useful.” I created a Japanese mailing list for information exchange and started a documentation translation project. Additionally, during that time, Python did not work properly on Japanese Windows environments, so I developed a Japanese pa pyconjp2024-55274-day2-keynote en false https://pretalx.com/pyconjp2024/talk/TUPJBN/ https://pretalx.com/pyconjp2024/talk/TUPJBN/feedback/ 20F Track2 Talk 2024-09-28T10:20:00+09:00 10:20 00:30 生成AIがデータ分析業務にもたらすパラダイムシフトとして「複雑な分析関連コードを書く代わりに、自然言語による対話的なデータ分析」を本セッションを通じて体験してみませんか？ 本セッションでは、生成AIを利用したデータ分析の効率化と自動化に焦点を当て、特に、自然言語によるデータ分析機能を提供するPandasAIというライブラリの可能性を紹介します。実世界のデータ分析課題にPandasAIをどのように適用できるか、そのベストプラクティスを共有し、データ処理、クリーニング、可視化、および特徴量生成のプロセスを簡略化する方法を提示します。 pyconjp2024-51556-re-pandasai-ai Data Science, AI Ryosuke TANNO en - 対象者（どんな方に聞いてもらいたいか？） - PythonやSQLを使用してデータ分析を行っているが、生成AIの活用により複雑なコードを書かずに分析作業を効率化したい、自然言語でデータにクエリを投げたいと考えている人。また、SQLやPythonに慣れていない人や、データを扱うときに時間と労力を節約したい人。データ分析の自動化に興味がある初心者から中級者を対象とします。 - 目的（トークを聞いた方に伝えたいこと） - 生成AIがデータ分析業務にもたらすパラダイムシフトとして「複雑な分析関連コードを書く代わりに、自然言語による対話的なデータ分析」を本セッションを通じて体験してみませんか？ - 本セッションでは、生成AIを利用したデータ分析の効率化と自動化に焦点を当て、特に、自然言語によるデータ分析機能を提供するPandasAIというライブラリの可能性を紹介します。実世界のデータ分析課題にPandasAIをどのように適用できるか、そのベストプラクティスを共有し、データ処理、クリーニング、可視化、および特徴量生成のプロセスを簡略化する方法を提示します。 - タイムライン - 機械学習の基礎（5分） - 機械学習とは - 人に比べて機械学習のここがいい - 機械学習を活かすポイント - 機械学習が失敗するパターン - 「機械にやらせるなら、ルールを書けば？」 - ルールに基づく判断の限界 - 生成AIは何ができるものなのか？ - 生成AIの基礎（3分） - 言語モデルとは？ - 大規模言語モデル（LLM）とは？ - 大規模言語モデルの仕組み（最近のパターン） - データ分析の基礎（5分） - What is Data Science? - Motivation - 世はまさに大可視化時代 - PandasAIとは（15分） - PandasAIとは（特徴） - PandasAIの仕組みは？ - LLMの潜在的な課題（参考） - 悪意のあるコードが生成された場合は？ - PandasAIを理解するためのメインコンポーネント３つ - デモ（2分） - まとめ（1分） - お役立ちリンク集 false デモ・事例アプリ デモアプリの使用例 発表資料 https://pretalx.com/pyconjp2024/talk/GF98CT/ https://pretalx.com/pyconjp2024/talk/GF98CT/feedback/ 20F Track2 Talk 2024-09-28T11:10:00+09:00 11:10 00:30 データフレームとは、データサイエンスや機械学習、データエンジニアリング、ウェブ開発等、さまざまな分野で広く使用されてる表形式のデータ構造です。Pythonにおいては、長年にわたってpandasがデータフレームの機能を提供するライブラリのデファクトスタンダードとして位置づけられてきました。近年では、性能向上や特定の場面への適応を目的として、データフレームの機能を提供する新たなライブラリも公開されています。この時、プロジェクトに最適なライブラリを選択するために、これらの違いの多角的な理解が重要な課題となります。本発表では、2024年9月時点での情報に基づき、データフレームの機能を提供する主要なライブラリ（pandas、Polars、PySpark、Dask、Modin、FireDucks等）を様々な観点から比較します。これにより、参加者が自身のプロジェクトに最適なライブラリを選択するための知識と洞察を得ることを目指します。 pyconjp2024-50871 Others 桂川大輝 en ### 背景 データフレームとは、データサイエンスや機械学習、データエンジニアリング、ウェブ開発等、さまざまな分野で広く使用されてる表形式のデータ構造です。これらの分野では、大量のデータを効率的に操作し、分析するためのツールが必要不可欠であり、そのためにデータフレームが使用されます。Pythonにおいては、長年にわたってpandasがデータフレームの機能を提供するライブラリ（以下、データフレームライブラリ）のデファクトスタンダードとして位置づけられてきました。近年では、性能向上や特定の場面への適応を目的として、新たなデータフレームライブラリも公開されています。 ### 動機 プロジェクトに最適なライブラリを選択するために、データフレームライブラリの違いを多角的に理解することが重要な課題となります。具体的には、処理性能、実装機能、利用状況、サポート状況、学習コスト等の違いの理解が必要となります。 ### 目的 本発表では、2024年9月時点での情報に基づき、主要なデータフレームライブラリ（pandas、Polars、PySpark、Dask、Modin、FireDucks等）を様々な観点から比較します。これにより、参加者が自身のプロジェクトに最適なライブラリを選択するための知識と洞察を得ることを目指します。 ### 予定稿 1. 自己紹介 2. 発表概要 - 背景 - 動機 - 目的 3. データフレームライブラリの紹介 - 主要なデータフレームライブラリ（pandas、Polars、PySpark、Dask、Modin、FireDucks等）の概要を紹介 4. データフレームライブラリの比較 1. 処理性能の比較 - パフォーマンス検証に基づき各ライブラリの処理速度およびメモリ効率（大規模データ処理や並列処理の能力）を比較 2. 実装機能の比較 - 各ライブラリが提供する機能（特定のデータ操作のサポート、特にGPU対応可否等）を比較 3. 利用状況の比較 - ソフトウェアエコシステムにおける各ライブラリの普及状況や利用頻度（依存関係）を比較 - プラットフォームおよびコミュニティにおける評価を比較 4. サポート状況の比較 - 主要なライブラリからのサポート状況を比較 5. 学習コストの比較 - デファクトスタンダードであるpandasとの差分を基準として操作性を比較 - 参考となる記事や書籍の豊富さを比較 5. まとめ ### 調査対象 - [GitHub](https://github.co.jp/) - [Qiita](https://qiita.com/) - [Libraries.io](https://libraries.io/) - 等 false データフレームライブラリ徹底比較 https://pretalx.com/pyconjp2024/talk/LZN3C3/ https://pretalx.com/pyconjp2024/talk/LZN3C3/feedback/ 20F Track2 Talk 2024-09-28T12:40:00+09:00 12:40 00:30 本発表では、特定の目的に向けて既存技術を調査し、自作のPythonライブラリを実装・評価する一連の流れを紹介します。具体的な事例として、講演者が実際の業務で自作した「ニュース記事のテキストから時間表現を抽出し、省略を補完し正確な日付を特定する」ライブラリを取り上げます。手順は①要件の確認②既存ライブラリ・文献の調査③方針の策定④実装・性能評価・改善ーーから成ります。それぞれ、何をどう考えて実行したかを説明し、得られた教訓を共有します。Pythonの偉大なるエコシステムの中で、自分自身がやりたいこと・やるべきことを見定め、開発を進めていく一例として、皆さまの参考になればと考えています。 pyconjp2024-51519 Practices for Development with Python 石原祥太郎 en 「Pythonで◯◯を実現したいが、既存ライブラリでは少しだけ要件に合わない」。そんな状況に直面した経験がある方も多いのではないでしょうか？ 本発表では、既存ライブラリを拡張して自作ライブラリを作ろうと試みる場面を題材にします。 自作ライブラリの開発は、多くの手順を含む奥深い作業です。しかし、具体的に何をどのように考えれば良いのかは自明でなく、過去の知見を共有している事例は多くありません。 本発表では、講演者の実際の業務を例に、特定の目的に向けて既存技術を調査し、自作のPythonライブラリを実装・評価する一連の流れを紹介します。作成したのは「ニュース記事のテキストから時間表現を抽出し、省略を補完し正確な日付を特定する」ライブラリです。たとえば、2024年10月1日に公開された記事内の「PyCon JP 2024が27〜29日に開催された」というテキストを「PyCon JP 2024が2024年9月27〜2024年9月29日に開催された」と書き換えます。 具体的には、既存ライブラリの「[ja-timex](https://github.com/yagays/ja-timex)」を拡張し、自作ライブラリ「jaROTE (Reproducing Omitted Time Expressions for Japanese)」を開発しました。開発の手順は①要件の確認②既存ライブラリ・文献の調査③方針の策定④実装・性能評価・改善ーーから成ります。本発表では、それぞれの手順について、何をどう考えて実行したかを説明し、得られた教訓を共有します。 Pythonの偉大なるエコシステムの中で、自分自身がやりたいこと・やるべきことを見定め、開発を進めていく一例として、皆さまの参考になればと考えています。 本講演の講師は、事業会社の研究開発部門に在籍し、Pythonを用いて日々開発を進めています。業務の中では、学術論文の調査・執筆も担当しています。Pythonでの開発作法だけでなく、既存ライブラリや文献を調査しながら「巨人の肩の上」で新規の提案をする考え方についても言及します。 本発表の構成は以下のとおりです。 - 導入（8min） - 新聞記事を用いた大規模言語モデルの開発 - 新聞記事内では、時に時間表現が省略されている（例：「PyCon JP 2024が27〜29日に開催された」） - 省略された時間表現は、大規模言語モデルにとって親切ではない（例：「PyCon JP 2024はいつ開催された？」という質問に答えるには情報が足りない） - 作成した自作ライブラリのデモ - pip install 可能な自作ライブラリと、streamlit ライブラリによるデモサイト - 記事の公開日を用いて、省略された時間表現を補完する（例：公開日「2024年10月1日」の場合「PyCon JP 2024が27〜29日に開催された」を「PyCon JP 2024が2024年9月27〜2024年9月29日に開催された」に） - 自作ライブラリの開発手順（20min） - ①要件の確認 - 手作業で入出力を定義してみる（例：自分で数件の新聞記事に対して期待する出力結果を作成する） - 計算資源や実行時間の制約を考える（例：大規模言語モデル向けのテキストは膨大で、実行時間は短い方が望ましい） - ②既存ライブラリ・文献の調査 - 既存文献の調査（時間表現の抽出と、省略の補完の処理を分けて考えると良さそう） - 参考文献リストは下記に掲載 - 既存ライブラリの調査 - 時間表現の抽出のためのライブラリ - 今回採用した「[ja-timex](https://github.com/yagays/ja-timex)」 - 今回は採用しなかった「[KWJA](https://github.com/ku-nlp/kwja)」 - 今回は採用しなかった「ChatGPT」などの大規模言語モデル - ③方針の策定 - ①の要件を踏まえて、正規表現で高速に動作する ja-timex を採用 - KWJA や大規模言語モデルは優れているが、実行時間がかかるため、今回は不採用に - 時間表現を ja-timex で抽出した後、省略を補完する部分のみを自前で実装するという方針に - ④④実装・性能評価・改善 - setup.py によるライブラリ化 - ①で手作業で定義した入出力を用いて、テストケースを作成 - pytest ライブラリを用いて、テストファースト開発を進める - 実装は、テスト駆動開発の中で挙動を評価 - 性能は「[日本経済新聞記事オープンコーパス](https://nkbb.nikkei.co.jp/alternative/corpus/)」で評価 - 今後改善すべき箇所や方針についても報告 - まとめ (2min) 参考文献リスト： - 事象に対する網羅的な時間情報アノテーションとその分析 https://www.jstage.jst.go.jp/article/jnlp/26/1/26_179/_article/-char/ja/ - 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション https://www.jstage.jst.go.jp/article/jnlp/20/2/20_201/_article/-char/ja/ - Inference of Absolute Time Value from Temporal Expressions https://ieeexplore.ieee.org/abstract/document/9671863 - BCCWJ-TimeBank: Temporal and Event Information Annotation on Japanese Text https://aclanthology.org/O14-4001/ - SUTime: A library for recognizing and normalizing time expressions https://aclanthology.org/L12-1122/ - Leveraging a Bilingual Corpus to Resolve Date–Duration Ambiguity in Japanese Numeric Day Expressions https://www.jstage.jst.go.jp/article/jnlp/29/2/29_638/_article/-char/ja/ false 発表資料 https://pretalx.com/pyconjp2024/talk/CLJQ37/ https://pretalx.com/pyconjp2024/talk/CLJQ37/feedback/ 20F Track2 Talk 2024-09-28T13:30:00+09:00 13:30 00:30 Python以外の言語で実装された機能（モジュール、クラス、関数）をPythonのライブラリとして使用することが可能です。 有名なものでは Numpy / Pandas は高速化のために主にC言語をベースに実装されています。 最近ではC/C++以外にもRust言語の活用が注目されています。 本セッションでは、Rust を利用してPythonライブラリを開発する利点や手順などを解説します。 また実際にRustが使用されているライブラリの実例を紹介します。 pyconjp2024-51443-rustpython DevOps, Testing, Documentation, Packaging Shota Kokado en Python以外の言語で実装された機能（モジュール、クラス、関数）をPythonのライブラリとして使用することが可能です。 有名なものでは Numpy / Pandas は高速化のために主にC言語をベースに実装されています。 もちろんPyConはPython開発者のためのカンファレンスなので、Rustのことに偏りすぎないような内容を心掛けます。 - イントロダクション: C/C++ や Rust などのコンパイル言語でPythonライブラリを開発するメリット、内部的な仕組みを紹介します。 - 開発方法 - テスト、デバッグ - デプロイ、配布 - 実際の活用例: 最近コア実装をRustで実装したことで話題になったpydantic v2 (pydantic-core) の中身について触れ、実際のメジャーなライブラリがどのように開発されているのかを紹介します。 false Google Slide https://pretalx.com/pyconjp2024/talk/7GPRYL/ https://pretalx.com/pyconjp2024/talk/7GPRYL/feedback/ 20F Track2 Talk 2024-09-28T14:20:00+09:00 14:20 00:30 本トークではイベントソーシングの概念や利点をお話するのと同時に、Pythonにおけるイベントソーシングに挑戦した結果を共有します。 私は普段、JVM でイベントソーシングをベースとしたマイクロサービス群の開発に取り組んでいます。 イベントソーシングはシステム上の出来事をイベントとして永続化することでシステムを構築する手法です。 システムをイベントでとらえることは多くの利点をもたらします。 ひとつ分かりやすい例を挙げるとすれば、システムの全ての状態変化を時間を追って追跡することが可能となることが挙げられます。 たとえば、何らかの問題が発生した場合には、発生したイベントのシーケンスをたどることで問題の原因を容易に特定できます。 ちょうどGitのログをたどるのと同じイメージです。 これはシステムの運用を確実に楽にします。 その他にもイベントデータはシステム間の連携を疎結合にしますし、永続化されたイベントデータを利用して、あとからBIツールと連携するといった芸当も可能です。 本トークではそのように便利なイベントソーシングの基本原理やメリットなどをお話しし、またイベントソーシングを実践する上で諸問題への回答となる各種機能について網羅して解説します。 また、それらの前提を共有した上で、現時点で Python における実装に挑戦した結果を紹介し、実践にむけて越えなくてはいけないハードル＝「Python で現状実現できてないこと」について探ります。 pyconjp2024-50174-python Practices for Development with Python Masanobu Naruse en false Pythonによるイベントソーシングへの挑戦と現状に対する考察 https://pretalx.com/pyconjp2024/talk/DAH78A/ https://pretalx.com/pyconjp2024/talk/DAH78A/feedback/ 20F Track2 Talk 2024-09-28T15:30:00+09:00 15:30 00:30 本発表では、静的型付けプログラミング言語Ergを紹介します。この言語の最大の特徴は、完全な静的型付けを達成したままPythonとの相互運用性を持つことで、TypeScriptのPython版のような言語であるといえます。 本発表では、Ergがどのような言語機能を持っているのか、ErgがどのようにしてPythonとの相互運用性を達成しているのか、そして現状どの程度のことができるのかを紹介します。 そして、Ergに興味はあるけれどPythonから今すぐ乗り換えるのは難しい・やっぱりPythonを書くのが好きという人のために、Erg型検査器をベースにして開発されたPython用型チェッカー/Language Serverであるpylyzerの紹介も行います。 pyconjp2024-49890-pythonerg I created libraries or services Shunsuke Shibayama en ## 予定稿 * なぜ新しいプログラミング言語が必要なのか Pythonは素晴らしい言語ですが、決して銀の弾丸ではなく、ある観点からは弱点があることを指摘します。そして、その弱点を補う新しい言語の必要性を示します。 * Ergの言語機能について 前章で指摘したPythonの弱点を補うため、Ergがどのような言語機能を持つか概観していきます。 * 型システム Erg独自の言語機能の中でも最も特徴的なのが、静的型システムです。ErgはPython APIの柔軟さを保ったまま静的型付けの恩恵を受けるため、非常に強力な型システムを搭載しています。この型システムについて、ざっくりと概観します。 * 現状どの程度のことができるか 現代のプログラミングは、もはや言語処理系本体だけで完結するものではありません。パッケージマネージャやLanguage Serverなど、周辺ツールすなわちエコシステムがどれほど整備されているかが非常に重要です。 Ergは"battery included"の精神を受け継ぎ、これらの開発ツールを標準で同梱しています。これらのツールは現状どれほどのことができているのかをみます。 * pylyzerの紹介 pylyzerはErgの型検査器を流用して開発されたPython向け型チェッカー/Language Serverです。 本章ではpylyzerを紹介し、既存ツールとの比較も行います。 * FAQ * 今後の開発予定 * まとめ false 発表資料 公式サイト 開発リポジトリ https://pretalx.com/pyconjp2024/talk/XJTHPU/ https://pretalx.com/pyconjp2024/talk/XJTHPU/feedback/ 20F Track2 Talk 2024-09-28T16:20:00+09:00 16:20 00:30 著者はPyVista というPython3次元コンピュータグラフィックスライブラリのメンテナをしています。今回はPythonの中級者向けにPyVistaでCGを作る方法を紹介します。 まずは基本的な3次元コンピュータグラフィックスを作る方法を説明します。使用方法はMatplotlibと似ているため、Pythonの中級者であれば簡単に使いこなせるでしょう。 1. 3D空間にオブジェクトを配置する「モデリング」の方法を紹介します。(5分) 2. オブジェクトの質感を表現する「テクスチャ」と「マテリアル」の方法を紹介します。(5分) 3. 3D空間に光を配置してオブジェクトを照らす「ライティング」の方法を紹介します。(5分) 4. Minecraftの洞窟をPyVistaで作成する方法を紹介します。パラメータを変えるだけで、様々な洞窟を作ることができます。(5分) 5. JupyterとStreamlitを使用して3次元コンピュータグラフィックスをインタラクティブに可視化をする方法を紹介します。(5分) PyVistaは3次元空間上のデータ分析にも使えるため、物理シミュレーションや機械学習の可視化にも使えます。PyVistaでデータ分析をする際の使用方法の例を説明します。 使用方法はPandasを意識して設計されているため、Pythonの中級者であれば簡単に使いこなせるでしょう。さらに、3次元コンピュータグラフィックスをStreamlitを使用してインタラクティブに行う方法を紹介します。 さらに、PyVistaはJupyterやStreamlitさらにSphinxでも容易に使用することが可能です。Pythonのエコシステムを使用することで分析結果の可視化に3次元コンピュータグラフィックスを活用することが期待できます。 最後に、PyVistaの応用事例を紹介します。 pyconjp2024-50554-python3cgpyvista I created libraries or services Tetsuo Koyama en false スライド https://pretalx.com/pyconjp2024/talk/KZE7BV/ https://pretalx.com/pyconjp2024/talk/KZE7BV/feedback/ 4F Track3 Talk 2024-09-28T10:20:00+09:00 10:20 00:30 Pythonでは日本語や英語など、自然言語処理のためのライブラリが豊富に提供されています。このトークでは「日本語の文章に対してフリガナを振る」というプログラムの作成を通じて、Pythonで自然言語処理ライブラリJanomeとSudachiPyを使用した、日本語を処理する方法について解説します。 はじめに自然言語処理とはどういうものか、今回主に使用する形態素解析について概要を説明します。またゴールとする「フリガナを振るプログラム」ではどういう動作をしてほしいかについて最初に説明します。 前半はJanomeを使用してフリガナを振るプログラムを作成していきます。Janomeを使用した形態素解析のやり方、読みの取得、フリガナを振るプログラム作成を行います。その後辞書の改善によるフリガナの改善を行います。 後半はライブラリとしてSudachiPyを使用します。最初にJanomeとSudachiPyの違いに触れ、SudachiPyで書き直す理由について説明します。SudachiPyを使用した形態素解析のやり方、読みの取得、フリガナを振るプログラムを作成します。フリガナの処理をより洗練させ、ユーザー辞書でのフリガナの改善まで行います。また、小学校で学んだ漢字のリストを作成し、小学校で学んだ漢字にはフリガナを振らない処理を作成します。 pyconjp2024-50053-python Data Science, AI Takanori Suzuki en * アジェンダ、ゴール(1m) * Who am I?(1m) * 自然言語処理とは、形態素解析とは(3m) * 形態素解析とは、形態素、用途 * フリガナプログラムの仕様(2m) * Janomeで形態素解析(3m) * 特徴 * インストール * 形態素解析を実行 * 読みを取得 * 分かち書き * Janomeでフリガナ(5m) * フリガナを振るプログラムを作成 * 送りがな対応 * 辞書をカスタマイズ * Janomeの課題 * SudachiPyで形態素解析(3m) * 特徴 * インストール * 形態素解析を実行 * 読みを取得 * 分かち書き * SudachiPyでフリガナ(7m) * フリガナを振るプログラムを作成 * フリガナ処理の改善 * 辞書のカスタマイズ、コスト調整 * フリガナレベル対応(2m) * まとめ(2m) false Pythonで日本語処理入門 〜フリガナプログラムを作ろう〜 https://pretalx.com/pyconjp2024/talk/BQXVWE/ https://pretalx.com/pyconjp2024/talk/BQXVWE/feedback/ 4F Track3 Talk 2024-09-28T11:10:00+09:00 11:10 00:30 ＋やーといった四則演算はもちろんのこと、mathライブラリといった計算に関するロジックはPythonの中で最も使う機能と言っても過言ではありません。 我々はそのライブラリをPythonの機能として使うだけなのですが、これらの機能は裏では一体何をしているのだろうかということが気になります。 普段気にしない、そうした数学的な機能について理解することで、普段使っているPythonに更に愛着がもてるよう発表していきます。 pyconjp2024-51548-python Features and Development of Python Itself curekoshimizu en 我々は空気のようにPythonの関数機能を使っています。例えば、加減乗除やmath.sqrtなどです。このように基本的な計算機能は最も普段使いされているPythonの機能と言えるでしょう。 Pythonの数学的な動きは一体どうなっているのかを理解することによって、普段書いているコードも少し違った目線になるに違いありません。例えば math.fma(x, y, z) というx * y + zを返すだけの関数があるのですが、そもそもなぜこんな関数が定義されているのでしょうか。x * y + z と書いてはいけないのでしょうか。そしてこの関数を呼ぶことに何の意味があるのでしょうか。 このようなバックグラウンドの仕組みを理解することによって、普段書いているコードにもハリがでるに違いありません。 発表者はこのPythonの数学的な標準的な関数の動きを解説します。Pythonの数学関数についてであり、NumpyやSciPyについては含みません。 false https://pretalx.com/pyconjp2024/talk/UJHF3D/ https://pretalx.com/pyconjp2024/talk/UJHF3D/feedback/ 4F Track3 Talk 2024-09-28T12:40:00+09:00 12:40 00:30 大規模言語モデル（LLM）の進化は目覚ましく、その応用範囲は広がっています。しかし、LLMの出力を利用したアプリケーションの構築において、その出力のデータ内容やスキーマの制御が求められます。本セッションでは、Pythonを中間コードとして用いて、構造的データを効率的に生成する手法を紹介します。この手法は直接出力よりも反復的なデータや計算を含むデータ等により効力を発揮します。また、生成過程における、Pythonコードの安全な実行環境としてWebAssemblyを利用した方法も提案します。最後に、これらによって構築されたLLMアプリケーションのアーキテクチャと、実践的デモを実演します。 pyconjp2024-51048-pythonllm Data Science, AI 柴内一宏 en 近年、ChatGPTに代表される大規模言語モデル（LLM）の発展は目覚ましく、様々なタスクへの応用が期待されています。しかし、LLMのアプリケーションを開発する際、LLMが出力するデータの構造や型について制御する場面が多々あり、それについて悩んでいる開発者も多いと思います。 本セッションでは、これらの課題に対する解決策として、Pythonを中間コードとして用いる手法を紹介します。具体的には、LLMにPythonコードを生成させ、これを実行することによって、より正確なデータを生成する方法について説明します。 このアプローチにより、例えば以下の効能が得られます。 - 反復的なデータを直接列挙するよりも、出力トークンの効率が向上し、レスポンス時間短縮が可能、 - 数値や計算について、より厳密な結果が期待できる。 - 時間や日付の計算が正確に行える。 - データの変換処理（文字列置換など）をプログラムの処理として定義できる。 特に、ターゲット言語をPythonにすることで、Pythonのエコシステムを活用できる利点もあります。具体的には以下のような利点があります。 - リストやネスト構造を含む複雑なデータ構造をdataclassとして表現可能。 - f-stringによるコンパクトで柔軟な文字列フォーマット。 - calendarパッケージ等、便利な標準ライブラリとの連携。 - Pydanticなどを用いた結果のバリデーションの自動化、シリアライゼーション/デシリアライゼーションの自前実装が不要。 しかし、LLMが生成したコードの実行は危険なコードが出力されうるというセキュリティリスクが伴います。そこで、本セッションでは加えて、WebAssemblyによるサンドボックス化を用いた安全なコード実行環境も紹介します。WebAssemblyを用いることで、実行時間、メモリ、I/Oを制限し、安全性を確保しつつ、低レイテンシを実現します。また、dataclassのシリアライズ/デシリアライズによって、アプリケーションとサンドボックス間のデータ連携もシームレスに行うことができます。 本セッションでは、実用的なマーケティングアプリケーションの設定ルール生成を題材としたデモを行います。これは実際に自社のクラウドアプリケーションを例に取り、具体的なアーキテクチャを示します。 さらに、JSONの直接出力や他のプログラミング言語との比較実験を通じて、本手法の精度、レイテンシ、出力トークン量を評価し、その有効性を検証します。 このセッションを通して、参加者はPythonを活用したLLMによる構造的データ生成の手法とその実践的な構築方法について深く理解することができるでしょう。 false Pythonを活用したLLMによる構造的データ生成の手法と実践 https://pretalx.com/pyconjp2024/talk/AYJ3GS/ https://pretalx.com/pyconjp2024/talk/AYJ3GS/feedback/ 4F Track3 Talk 2024-09-28T13:30:00+09:00 13:30 00:30 プロダクト開発に従事するデータサイエンティストは、データパイプラインの構築、実験、PoC、プロダクト実装など、幅広い業務を担当することが多いです。このフルサイクル開発は重要ですが、同時にデータサイエンティストがロジック開発やデータ分析にも集中できる環境が求められます。本トークでは、弊社の広告配信チームがどのようにしてデータサイエンティストがフルサイクル開発を行いながらも、専門業務に集中できる環境を整えたかを紹介します。具体的には、Luigi、SageMaker、Prefectといったワークフローエンジンを活用し、フルサイクルデータサイエンティストにとって効率的な機械学習基盤を開発した過程と、そこで得られた知見を共有します。 pyconjp2024-51331 Data Science, AI Cristian Kamiya en #### 1. はじめに - 自己紹介とセッションの目的説明 - 自己紹介 - セッションの目的と概要 #### 2. 弊社におけるデータサイエンティストの特徴 - フルサイクル開発の定義と重要性 - 弊社(CARTA MARKETING FIRM)におけるフルサイクルデータサイエンティストとは #### 3. 課題と理想の機械学習基盤 - フルサイクルデータサイエンティストの責務の曖昧さとその影響 - 課題の詳細と実際の影響 - 理想の機械学習基盤とは - ロジック開発やデータ分析に集中できる環境の重要性 #### 4. 弊社のデータ分析基盤の歴史 - Luigiを使った基盤の紹介とその成果 - Luigiの導入背景 - Luigiの利点と欠点 - データ基盤(codename: vision)ができたことによる責務の変化 - データパイプライン基盤 -> データエンジニア - 機械学習基盤 -> データサイエンティスト - LuigiからSageMakerへの移行 - SageMakerの導入背景と利点 - なぜSageMakerがフルサイクルデータサイエンティストに不向きだったか - SageMakerからPrefectへの移行 - Prefectの導入背景と利点 - 具体例 - インフラ構築のためのコード量の削減 - Pythonのみでの記述が可能 - 監視や運用がしやすいUIの提供 #### 5. 成果と今後の展望 - 弊社での現在のデータエンジニア、データサイエンティスト、ソフトウェアエンジニアのそれぞれの責務 - 今後の計画や改善点 false 登壇資料 8年間の進化！CARTA MARKETING FIRMが機械学習基盤を刷新した理由とその成果 CARTA MARKETING FIRMでのデータサイエンスについて https://pretalx.com/pyconjp2024/talk/LAJELM/ https://pretalx.com/pyconjp2024/talk/LAJELM/feedback/ 4F Track3 Talk 2024-09-28T14:20:00+09:00 14:20 00:30 ## 概要 このトークでは、一般的に使われるPythonとOpenCVライブラリを使用して、PCのウェブカメラから物体（主に人の顔）を検出し、どのような結果が得られるかを見ていきます。物体検出のためにカスケード分類器を使用し、すでに顔の検出ができているデータセットを使用してカメラから物体を検出しながら、Pythonコードの例を示し、カメラ映像から物体を検出したときの楽しさをお話しします。 また、専門用語が多くあるため、その説明を含めながらこれからPythonを始める方に向けて導入しやすい内容でトークをします。 PythonとOpenCVライブラリを使用して、PCのウェブカメラから物体（主に人の顔）を検出するだけでなく、条件分岐を取り入れて、顔や人を認識した場合にどのようなアクションが取られるかについてもお話しします。簡単な例として、顔が検出されたときに「顔検出」という検出結果を表示する方法を示します。 さらに、ビデオや静止画の使用方法、およびリアルタイムでの方法についても、説明します。 ## コンテンツ - はじめに - これをやりたいと思った理由 - OpenCVについて - カスケード分類器とは - 物体検出 - ビデオと静止画からの検出 - リアルタイム検出 - 条件分岐を試してみた - その他の実用例 - 最後に ## 聴講者が得られるもの - Pythonでのカメラデバイスの使用方法 - 物体検出の方法 - 顔検出の基本 - IoTの基礎 - OpenCVライブラリの使い方 - カスケード分類器とは - アノテーションとは pyconjp2024-51533-pythonopencv IoT, Hardware, and Networking Lina Katayose en ## OpenCVとカスケード分類器の概要 OpenCVは、コンピュータビジョンのタスクを簡単に実行するための多数の関数を提供しています。特に、カスケード分類器は、物体検出において高いパフォーマンスを発揮します。この分類器は、複数の簡単な特徴を組み合わせて物体を検出し、リアルタイムでの処理にも適しています。 ## 物体検出の手法 物体検出のプロセスは、以下のステップで構成されます。 - 画像の取得: ウェブカメラからの映像をキャプチャします。 - 前処理: 画像をグレースケールに変換し、ノイズを除去します。 - 特徴抽出: Haar特徴量を計算し、カスケード分類器を用いて顔を検出します。 - 結果の表示: 検出された顔に枠を描画し、結果を表示します。 ## 条件分岐の導入 物体を検出した際に、特定のアクションを実行するために条件分岐を取り入れます。例えば、顔が検出された場合に「顔検出」というメッセージを表示するだけでなく、ログに記録したり、特定のイベントをトリガーすることが可能です。これにより、物体検出の応用範囲が広がり、実践的なシステムの構築が可能となります。 ## ビデオと静止画での検出 ビデオストリームと静止画の両方から物体を検出する手法についても解説します。リアルタイムでの物体検出は、ビデオストリームをフレームごとに処理することで実現されます。一方、静止画からの検出は、単一のフレームに対して同様の手法を適用します。 ## 実践例の紹介 最後に、物体検出技術を利用した実践的な例を紹介します。例えば、監視カメラシステムやインタラクティブなアートインスタレーションなど、様々な応用例を通じて、物体検出技術の可能性を探ります。 このトークは、PythonとOpenCVを用いた物体検出の基本から応用までを網羅し、参加者が実際に技術を活用できるようになることを目指しています。 false PythonとOpenCVで楽しむ物体検出！ https://pretalx.com/pyconjp2024/talk/HP8JPT/ https://pretalx.com/pyconjp2024/talk/HP8JPT/feedback/ 4F Track3 Talk 2024-09-28T15:30:00+09:00 15:30 00:30 3DCADは3Dデータを作る上で、様々な業界やモノづくりをする上で利用されている強力なソフトウェアです。個人でも3Dプリンタを活用することで試作から製品まで作成できます。3DCADはGUIで操作するソフトウェアが市場でも多数存在しますが、プログラミングをすることで3Dデータを作成することも可能です。本トークではPythonから触ることができる。プログラマブル3DCADのCadQyeryを概要から簡単なモデリングを行うためのデモを交えて紹介します。 pyconjp2024-50572-python3d-cadquery-basic Movie, Music, Games, Illustrations Hiroshi Sano en ## トークの流れ * 3Dデータを自分たちで作れるようになるために * Maker文化を紹介します * 3Dプリンタを扱う上では必要不可欠な存在 * 3DCADの概要 * 二次元と三次元について: 2DCAD, 3DCADの違い、3Dのメッシュデータとソリッドデータ。 * 3DCADの種類: プロプライエタリやOSSを交えて * パラメトリック/ノンパラメトリックの違い: 特徴を説明します * 点、エッジ、フェース、ソリッド、サーフェス、スプラインの概要 * CadQueryとは * プログラマブルな3DCAD: そのほかの同種のCADもご紹介: OpenSCAD * Open CASCADE kernelを使ったプログラマブルな3DCAD * 環境の作り方: VSCode での作り方を紹介 * How to Use CadQuery Basic: デモを交えて紹介します * 作業面について: * ソリッドを作る: 立方体、球体など * モデルを組み合わせたり、ブーリアン演算について扱います。 * ファイルを出力する。メッシュデータのSTL、 ソリッドデータのSTEPを書き出します。 * 3Dプリンタで出力してみる: 実際に3Dプリンタを動かす様子もお見せします（遠隔で操作をするので通信環境によっては中断する可能性もあります） * まとめ false slide sample code https://pretalx.com/pyconjp2024/talk/PLGWSS/ https://pretalx.com/pyconjp2024/talk/PLGWSS/feedback/ 4F Track3 Talk 2024-09-28T16:20:00+09:00 16:20 00:30 Pythonの非同期を利用されていますか？おそらく、市場での多くのユースケースはIOを多用するWebでの活用で、FastAPIやDjangoでasyncioを利用されている方も多いのではないでしょうか。今回のトークでは、asyncioと同時期にリリースされ「structured concurrency」という概念に強く影響を受けた Python非同期のサードパーティライブラリ「Trio」について、asyncioとの比較を交えお話しします。 asyncio以外のpython非同期って何？anyioってとは？なぜTrioを選択したのか、にお答えします。世界的に見ても稀有なTrioをプロダクションで利用している事例を中心に、実際のコードを交えTrioとasyncioの比較をしながら、ユースケースをご紹介します。 pyconjp2024-51492-python-trio-trio-util IoT, Hardware, and Networking Junya Fukuda en ## 詳細 Python の非同期の歴史は非常に古く、1999年のPython1.5.2標準ライブラリasyncoreからアイディアははじまり、そこから、Twisted, Tornado, CurioといったサードパーティのライブラリがPython非同期のマイルストーンとなり、Python3.4標準ライブラリasyncioが追加され、2024年現在さらなる進化を遂げています。 おそらく、市場での多くのユースケースはIOを多用するWebでの活用で、FastAPIやDjangoでasyncioを利用されている方も多いのではないでしょうか？今回のトークでは、asyncioと同時期にリリースされ「structured concurrency」という概念に強く影響を受けた Python非同期のサードパーティライブラリ「Trio」について、asyncioとの比較を交え紹介します。 anyioって何？なぜTrioを選択したのか。世界的に見ても稀有なTrioをプロダクションで利用している事例を中心に、実際のコードを交えTrioとasyncioの比較をしながら、ユースケースをご紹介します。 ## 予定稿 * 導入(5min) * なぜTrioを採用したのか（10min） * ロボット開発における意思決定エンジン * プロダクトの価値を最大化するための手段 * Trioとasyncioのコードを交えた比較 * Trioでの「structured concurrency」 * APIの比較 * Trio-utilの利点 * Python非同期のこれから * anyioとGlobal Backend * sub-interpreters や free threadingとの協業 ## 想定する参加者 * Pythonの基本的な構文がわかる方 * Python非同期を使ってみたい方 * (nice to have) pythonまたは他の言語で非同期を触ったことがある方 ## 聴衆が獲れるもの * ロボットでのPython 活用事例 * Python非同期に関する理解 * Python 非同期で何を選択するかの考慮 false プロダクションでのPython非同期ユースケース - Trio/Trio-Utilを中心に https://pretalx.com/pyconjp2024/talk/HFE3MV/ https://pretalx.com/pyconjp2024/talk/HFE3MV/feedback/ 4F Track3 Mini Talk 2024-09-28T17:00:00+09:00 17:00 00:15 業務で pytest を使って自動テストを書いていて「あれ、conftest.py で書いているこの処理、他の tests ディレクリの conftest.py でも書いた気がするな...」と感じたことはないでしょうか？ 自動テストを実装する上では、例えばデータベースにテーブルを作る、データベースに接続するセッションを用意するなど、テスト実行のために必要な前処理が色々と発生します。こういった処理は conftest.py に書くことが多いですが、サービスやプロダクトが増えて tests ディレクトリが分散してくると、色々な tests ディレクトリ内で同じような conftest.py が書かれて DRY 原則に反した状態になり、テストコードの保守性の低下を招く要因になります。 pytest を使っていると何かしらのサードパーティのプラグインを使うことが多いと思いますが、上記の課題はプラグインを自作することで解決することができます。 このセッションでは、私が所属する会社のプロダクトの開発において抱えていた課題と、その課題を解決するために実際に開発した社内向けの pytest プラグインの実装を紹介します。自作の pytest プラグインを開発してより快適にテストを実装できるようになりましょう！ pyconjp2024-51491-pytest--dry DevOps, Testing, Documentation, Packaging Atsushi Inutsuka en このセッションでは以下のような内容について話すことを予定しています。 #### pytest のプラグインを作ろうと思った背景 私が所属している会社のプロダクト開発において実際に開発者から上がっていた声を紹介しつつ、どのようなペインがあったかを説明します。 #### プラグインで提供している機能 上記の課題を解決するために pytest プラグインで提供している機能を紹介します。 - Docker で MySQL のコンテナを起動する - 起動した MySQL コンテナのヘルスチェックが通るまで待機する - 上で起動した MySQL コンテナの DB セッションを提供する - 上で起動した MySQL コンテナの DB にテーブルを作成する - factory のセッションを提供する - テストメソッドごとにデータベースのトランザクションをロールバックする #### プラグインのディレクトリ設計 具体的なディレクトリ設計や、プラグインをインストールして使えるようにするための仕組みを説明します。 #### 自動テスト並列実行のための工夫 プラグインを使って自動テストを実行する際に、テスト実行を高速化することを目的に並列実行ができるようにしました。ただし、データベースへの読み書きを伴うテストがある場合、並列実行のプロセスごとに独立のデータベースを使わなければ、別プロセスが書き込んだデータによりテスト結果が変わってしまい実用に耐えません。 データベースへの読み書きを伴うテストがある場合でもテストを並列実行できるようにするための実装上のポイントを紹介します。 #### プラグインが正常動作することを保証する プラグインが期待した動作をすることを保証するために、プラグインの自動テストを書く方法を紹介します。 #### プラグインを導入する 実装した pytest プラグインを使って自動テストを実装する方法を紹介します。 false pytest プラグインを開発して DRY に自動テストを書こう https://pretalx.com/pyconjp2024/talk/C8NS9J/ https://pretalx.com/pyconjp2024/talk/C8NS9J/feedback/ 4F Track4 Talk 2024-09-28T10:20:00+09:00 10:20 00:30 Maintaining code quality in a growing codebase is challenging. We faced issues like increased test suite execution time, slow test startups, and coverage reporting overhead. By leveraging open-source tools, we significantly enhanced testing efficiency. We utilized pytest-xdist for parallel test execution, reducing test times and accelerating development. Optimizing test startup with Docker and Kubernetes for CI, and pytest-hot-reloading for local development, improved productivity. Customizing coverage tools to target updated files minimized overhead. This resulted in an 8000-case increase in test volume, 85% test coverage, and CI tests completing in under 15 minutes. pyconjp2024-51520-streamlining-testing-in-a-large-python-codebase DevOps, Testing, Documentation, Packaging Jimmy Lai en Outline Overview: (5 minutes) - Python Testing with pytest - Test Coverage Measurement - Local Setup - Continuous Integration Challenge Faced: (5 minutes) - Large Codebase - Test Suite Execution Time - Slow Test Startup - Test Coverage Reporting Overhead Solution: (15 minutes) - Parallel Test Execution - Optimized Test Startup - Efficient Test Coverage Reporting Recap (2 minutes) Q&A (3 minutes) false Slides https://pretalx.com/pyconjp2024/talk/LVRBQA/ https://pretalx.com/pyconjp2024/talk/LVRBQA/feedback/ 4F Track4 Talk 2024-09-28T11:10:00+09:00 11:10 00:30 Discover the hidden gems of Python that can significantly improve your coding skills. While fundamental concepts such as dunder methods, decorators, and iterable protocols are well-known to most Python developers, not everyone knows how to apply them. In this presentation, you will learn how these features work and see their application in real-world open-source projects. pyconjp2024-51062-unlocking-python-s-core-magic Features and Development of Python Itself Wei Lee en This presentation briefly introduces a few of Python's fundamental concepts. The objective of this talk is not to extensively cover the details of these mechanisms but to demonstrate how these concepts can be applied to a real-world open-source project. The following concepts will be covered. 1. dunder method 2. `__getattr__` and PEP 562 3. decorators 4. `functool.partial` 5. Iterable Protocol false slide deck https://pretalx.com/pyconjp2024/talk/AQKFHX/ https://pretalx.com/pyconjp2024/talk/AQKFHX/feedback/ 4F Track4 Talk 2024-09-28T12:40:00+09:00 12:40 00:30 Cython, an optimizing static compiler for Python, provides an accessible way to expose legacy C/C++ programs to Python users with minimal background knowledge. However, once initial setup is complete, debugging issues in both the build and runtime can be challenging. The underlying C library might obscure problems in memory management, and the lack of "training wheels" compared to Python can result in system errors, like segfaults or obscure error codes that are difficult to debug. This session explores the tools and workflows essential for working with Cython, identifying common errors, and presenting lessons learned from wrapping a geometric triangulation C library for using with Python via Cython. pyconjp2024-51496-sleuthing-in-cython-wrapping-and-debugging-legacy-c-libraries-for-python Practices for Development with Python Maryanne Wachter en In Sleuthing in Cython, we'll go over the benefits and challenges of utilizing Cython as a way to utilize legacy C/C++ programs and libraries within Python applications. Cython's capabilities permit users to use Python-like syntax to integrate with existing C code and build their own library and program interfaces accessible from both C and Python. This talk will cover essential tools and workflows for building with Cython and what the interface looks like for integrating with legacy C code, and how to build and package a Cython extension with Poetry. However, utilizing the full powers of Cython is not without its own set of challenges. The presentation will also provide practical insights into common errors encountered during build and runtime phases while developing in Cython. Attendees will learn how to navigate these issues, using a detailed account of the specific obstacles faced when wrapping a legacy C library for Python via Cython. We will discuss different memory management and debugging tools, with a focus on Valgrind, and how to utilize these tools during development in Cython. false Presentation slides https://pretalx.com/pyconjp2024/talk/UPCLRE/ https://pretalx.com/pyconjp2024/talk/UPCLRE/feedback/ 4F Track4 Talk 2024-09-28T13:30:00+09:00 13:30 00:30 Learn about the convergence of PyGame in Python and WebAssembly. In this talk, explore how we can turn Python based games into web sensations. Understand the essential of game development with PyGame, from animation to interaction and how PygBag bridges these creations to the web with WebAssembly. We will see how this transition from desktop to browser works, ensuring the games are accessible and performant on every device. Let's play video games in the browser with high efficiency in the browser! pyconjp2024-51456-playing-games-in-the-browser-with-wasm Movie, Music, Games, Illustrations Neeraj PandeyManoj Pandey en Have you ever dreamt of turning your Python game creations using pygame into web sensations playable by anyone, anywhere? This talk dives deep into the exciting convergence of Pygame and WebAssembly, empowering you to bring your Python game development skills to the web! In talk, attendees will learn about the Pygame development, laying a strong foundation with its fundamental concepts. From the initial steps of game initialization and window creation to the intricate handling of graphics, animation, and sound effects, and the crucial aspect of user input for engaging gameplay, they'll gain comprehensive insights into the essence of game creation. Together, we will navigate the transformative journey from Pygame to the web through the innovative use of PygBag, that effortlessly converts Python game code into WebAssembly. This conversion enables the games to run smoothly within web browsers, bridging the gap between desktop development and web accessibility. By the conclusion of this talk, attendees will have a better understanding of Pygame's capabilities, the transformative potential of PygBag in combining Python with WebAssembly. false https://pretalx.com/pyconjp2024/talk/XNALUV/ https://pretalx.com/pyconjp2024/talk/XNALUV/feedback/ 4F Track4 Talk 2024-09-28T14:20:00+09:00 14:20 00:30 You might be surprised to learn that, besides naming and cache invalidation problems, building a binary wheel for a Python extension is one of the hardest problems in computer science. Or more precisely, building that binary wheel correctly. Lucky for us, a few amazing community-led projects hide all that complexity from us, so we can instead focus on shipping and using Python code. This talk will showcase some notable examples of how things can go wrong, while also helping users and maintainers recognise these typical error scenarios. We will learn how to avoid these issues and what users can do when they encounter such issues when using a library. pyconjp2024-50517-the-wheelhouse-of-horrors Practices for Development with Python Laszlo Kiss Kollar en false https://pretalx.com/pyconjp2024/talk/PGNQEP/ https://pretalx.com/pyconjp2024/talk/PGNQEP/feedback/ 4F Track4 Talk 2024-09-28T15:30:00+09:00 15:30 00:30 This talk explores the intersection of Python and Cython, emphasizing how understanding Cython can deepen one's knowledge of the Python Virtual Machine (PVM) and Python's performance characteristics. pyconjp2024-51467-why-knowing-cython-helps-in-understanding-python-a-deep-dive-into-cython-pvm Features and Development of Python Itself Abhik Sarkar en In this talk attendees will gain insights into the PVM's inner workings, Cython's role in enhancing performance, and practical tips for integrating Cython into their Python projects, especially for machine learning optimization. Agenda - How Python Works? - How Cython Works? Converting Python code to C Code (Generated by Cython) and compiling them separately (10mins) add Different cases of same function explaining the difference in cython. - How to integrate C Code into Python using Cython - Python Objects - Questions (5Mins) false Github Slides https://pretalx.com/pyconjp2024/talk/Q77WJY/ https://pretalx.com/pyconjp2024/talk/Q77WJY/feedback/ 4F Track4 Talk 2024-09-28T16:20:00+09:00 16:20 00:30 The open source community is all about giving back and learning from one another. No matter how small, every contribution is valuable. And everyone can contribute something with a little bit of help. The hardest part is finding something to work on that fits your interests and skills. In this talk, I will provide five ways that I used to get started contributing to different open source projects. I also share some guidance on selecting projects to contribute to and how to set yourself up for success. Get ready to start your open source journey! pyconjp2024-50665-getting-started-with-open-source-contributions Community and Education Stefanie Molin en false Tips for Navigating an Issue Tracker on GitHub Feedback Slides https://pretalx.com/pyconjp2024/talk/LCHGZJ/ https://pretalx.com/pyconjp2024/talk/LCHGZJ/feedback/