2.0 -//Pentabarf//Schedule//EN PUBLISH HHVDEQ@@pretalx.com -HHVDEQ Day1 Keynote en en 20240927T103000 20240927T110000 003000 Day1 Keynote PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/HHVDEQ/ 20F Track1 PUBLISH 93RZT7@@pretalx.com -93RZT7 Django Ninjaで高速なAPI開発を実現する: 実践ガイドとベストプラクティス en en 20240927T114000 20240927T115500 001500 Django Ninjaで高速なAPI開発を実現する: 実践ガイドとベストプラクティス このトークでは、Django Ninjaを活用してDjangoアプリケーション上に高速で柔軟なAPIを構築する方法を紹介します。まず、Django Ninjaの基本的な使い方から始め、次に具体的なコード例を交えてエンドポイントの作成、スキーマバリデーション、認証と認可の設定方法を解説します。また、Django Ninjaを使用する際に注意すべき点や、パフォーマンス最適化のためのベストプラクティスについても深掘りします。最後に、弊社(Recustomer株式会社)での活用例を通じて、具体的な問題解決の方法を共有します。このトークを通じて、参加者はDjango Ninjaを効果的に活用するための知識とスキルを習得できます。 - Django Ninjaの基本概要 - 具体的なユースケースと実演 - 基本的なAPIエンドポイントの作成 - スキーマバリデーションの実装 - パフォーマンス最適化のためのベストプラクティス - 弊社(Recustomer株式会社)での活用例 PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/93RZT7/ 20F Track1 加藤雅也 PUBLISH D9BDAQ@@pretalx.com -D9BDAQ あなたのアプリケーションをレガシーコードにしないための実践Pytest入門 en en 20240927T130000 20240927T133000 003000 あなたのアプリケーションをレガシーコードにしないための実践Pytest入門 本セッションでは、様々なPythonコードを`pytest`で自動テストする手法を解説していきます。 - 昨年のPyConAPAC2023での先行発表「[好きとか嫌いとかはいい、練習してテストを書けるようになるんだ](https://2023-apac.pycon.jp/timetable?id=MBSPYH)」を更に発展させ、より複雑なコードをどのようにテストするかに焦点を当てて解説していきます。 - コードが複雑なままだと、テストも必然的に複雑になります。本セッションでは単なる「`pytest`の使い方」の解説で終わらず、「テストを容易にするためのコードリファクタリング」も紹介し、テストを通じてコード品質を高める手法についても触れていきます。 タイムテーブルは以下で進める予定です。 1. 導入(5min) - 自己紹介 - なぜテストが必要なのか？ - なぜ単体テストの自動化を重視するのか？ - テスト駆動開発（`TDD`）の紹介 2. pytest概説(5min) - `AAA`を意識したテストケースの書き方 - `fixture`による前処理・後処理の実装 - `parametarize`によるパラメータテスト - `tmp_path`による一時ディレクトリの作成 - `pytest-cov`によるテストカバレッジの取得 3. 様々なテストパターンとリファクタリング(18min) - `DB`に依存するコード - `HTTP`リクエストするコード - ファイル入出力を行うコード - 特定の日時で動作するコード - `OS`情報に依存するコード 4. まとめ(2min) PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/D9BDAQ/ 20F Track1 fujine PUBLISH RRRAAT@@pretalx.com -RRRAAT 実践structlog en en 20240927T135000 20240927T142000 003000 実践structlog structlogはOut-Of-The-Boxで簡単に使える便利なログ出力ライブラリ、ではありません。使いやすいラッパーライブラリは気軽に使い始められるメリットがあります。しかし、ある程度複雑な構成で標準ライブラリやフレームワークのログ出力もまとめて扱うには、始めやすさよりも、追跡しやすいログを簡単なコードで手軽に出せることが大事になってきます。 クラウド時代のログ出力では、ログを機械的に扱えるように、構造化されたJSONフォーマットが求められます。また、各ログの追跡可能性を高めるためにはログのコンテキスト情報をフレームワークのログ出力にも含めることが求められます。こういった追跡可能なログによって、トラブル時の調査にかかる労力は大幅に削減されます。 structlogはこのようなニーズに合わせて自由にカスタマイズが可能ですが、そのカスタマイズ性の高さは最初の導入ハードルにもなっています。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/RRRAAT/ 20F Track1 Takayuki Shimizukawa PUBLISH UTWBAL@@pretalx.com -UTWBAL ORM と向き合う en en 20240927T144000 20240927T151000 003000 ORM と向き合う アプリケーションを開発する際に RDB を組み合わせるケースは非常に多く、アプリケーションから RDB を扱うために ORM と呼ばれるソフトウェア/ライブラリを利用したことがある人も多いでしょう。ORM を使ったことがある人であれば、ORM という概念はそれほど簡単に扱える代物ではないということは同意いただけるのではないでしょうか。 このセッションでは、ORM という概念にどのような難しさがあるか、我々は ORM に何を期待するのか、Python においてはどのような選択肢があるのかについて考えていきたいと思います。このセッションでは「正解」を提示することはできないと思いますが、みなさんが "なんとなく使っている" (かもしれない) ORM について、少しでも深く理解するためのきっかけを与えることができれば幸いです。 - 代表的な ORM とその特徴 - Python の ORM - 他の言語の ORM - ORM 周辺の課題 - インピーダンスミスマッチ - 複雑さ - 型定義 - 最適化 - 非同期処理 - etc... - これからの ORM - ORM に期待するもの - Python における選択肢や実装 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/UTWBAL/ 20F Track1 hoto17296 PUBLISH 89F3RQ@@pretalx.com -89F3RQ PEP 723（Inline script metadata）が拓く世界。Pythonスクリプトに必要な仮想環境をツールにおまかせできるんです！ en en 20240927T155000 20240927T162000 003000 PEP 723（Inline script metadata）が拓く世界。Pythonスクリプトに必要な仮想環境をツールにおまかせできるんです！ # PEP 723とは ref: https://peps.python.org/pep-0723/#example ```python # /// script # dependencies = [ # "requests<3", # "rich", # ] # /// import requests from rich.pretty import pprint resp = requests.get("https://peps.python.org/api/peps.json") data = resp.json() pprint([(k, v["title"]) for k, v in data.items()][:10]) ``` このスクリプトを動かすにはrichやrequestsが必要です。 かつての私は仮想環境を作り、`pip install rich requests`してからスクリプトを動かしていました。 pipxは1.4.2からPEP 723を（部分的に）サポートしており、上のスクリプトは仮想環境を作ることなく`pipx run example.py`と実行できます！ 何が起こっているかと言うと 1. pipxがInline script metadata（`/// script`のコメント）を解釈 2. pipxが管理する仮想環境にdependenciesをインストール 3. 2の仮想環境を有効にしてスクリプト`example.py`を実行 開発者が仮想環境を操作不要なんです！（pipxに任せなさい🙌） この世界を一緒に見ていく30分としたいと思います # アウトライン 自己紹介・まとめ、それぞれ1分ずつ（2分） ## PEP 723の紹介（8分） * Inline script metadataの仕様について * dependencies * requires-python * 提案経緯 * 実装例（手短に） ## PEP 723を実装するツールの紹介（13分） - pip-run（手短に） - pipx * （dependenciesのみの限定サポートですが、とても便利です！） * pipxとはどんなツールか * pipx自体のインストールについて * `pipx install`（手短に） * `pipx run` - PEPによると、Hatchなどもサポートが予定されているので9月時点の最新情報を盛り込みます ## PEP 723をサポートしたpipxでPythonスクリプトを開発・実行しての学びの共有（7分） * よい点1：一度動けば他の開発者の手元でも動く（環境の変化に強い） * よい点2：簡単に依存ライブラリを追加できる 使いこなしtips * `python -i`相当のことをやるには？（pipxのソースコードリーディングから） * エディタ（VS Code）で補完があたるようにするには？ PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/89F3RQ/ 20F Track1 nikkie PUBLISH ALF9BM@@pretalx.com -ALF9BM Pydantic x Database API：Turu-pyの開発 en en 20240927T164000 20240927T165500 001500 Pydantic x Database API：Turu-pyの開発 Pydantic 利用したクエリ結果のバリデーションを簡単に行う PEP 249 – Python Database API のラッパーライブラリ Turu-py を作成しました。 チームメンバーは SQL を書くことに慣れており、またデータ分析基盤を扱う関係上、複雑なクエリ文を書くことが多いチームであったため、 ORM ではなく素の SQL を用いて開発をした方が良いと判断し、クエリ結果を型安全に扱えるライブラリを作成しました。 Turu-py の前に、Python 3.12 の Type Parameter Syntax を用いて、型安全なクエリビルダーの開発を検討しましたが、技術的な壁にぶつかったため現実的な解決策をとったものになります。 PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/ALF9BM/ 20F Track1 yassun7010 PUBLISH H9EWWL@@pretalx.com -H9EWWL FastAPIのasync defとdefの使い分け en en 20240927T170000 20240927T171500 001500 FastAPIのasync defとdefの使い分け このセッションでは、async defはどのようなものかを簡単に説明し、使ったらよい場合と、使ってはいけない場合をそれぞれ説明します。 それぞれ、使った場合と使ってない場合にどのようなことになるか負荷試験結果などを見ながらasync defのベストプラクティスを学んでいきます 1. Pythonにおける並行処理・並列処理・非同期処理 2. マルチスレッドと非同期処理 2.1. GILとは何か 2.2 async/awaitの実装 3. FastAPIにおけるasync defとdefの違い 3.1 async def+同期処理を書いてはいけない 4. async def+同期処理でどうなるのか実験してみる PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/H9EWWL/ 20F Track1 佐々木　峻 PUBLISH WJ8TVX@@pretalx.com -WJ8TVX Robot FrameworkとNVDAスクリーンリーダーによるアクセシビリティのテスト自動化 en en 20240927T114000 20240927T115500 001500 Robot FrameworkとNVDAスクリーンリーダーによるアクセシビリティのテスト自動化 このミニトークでは、以下のポイントを説明します。 1. **背景と重要性**: - スクリーンリーダーNVDAとウェブアクセシビリティ - 日本語環境での動作検証とAS情報 2. **テストのセットアップと実装**: - NVDAとRobot Frameworkの開発環境の構築 - WAI-ARIA: Authoring Practices Guideに基づくテストケースの実行 - 自動テストのカスタマイズ 3. **デモと結果の共有**: - 実際のテスト実行と結果の解析方法を紹介 これらのポイントを通じて、参加者は短時間でスクリーンリーダーを用いたテストの基本的な流れを理解し、実際の開発に応用するためのヒントを得ることができます。また、ウェブアクセシビリティ基盤委員会(WAIC)のAS情報の整備についても触れます。 PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/WJ8TVX/ 20F Track2 Takuya Nishimoto PUBLISH JAFSRP@@pretalx.com -JAFSRP FireDucksのすすめ en en 20240927T130000 20240927T133000 003000 FireDucksのすすめ アジェンダ 1. データフレームの最新動向 - データフレームとは？ - pandas, modin, polars等の紹介・比較 2. FireDucksの紹介 - データ増大とpandasの速度課題 - FireDucksのねらい - FireDucksのアーキテクチャ - pandas互換性のための工夫 - 高速化技術 - マルチスレッド化 - 自動最適化 - pandas高速化テクニック - FireDucksでの自動最適化 - FireDucksの導入方法，利用方法 - デモ - データフレームライブラリの性能比較 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/JAFSRP/ 20F Track2 Yoshiyuki Ohno PUBLISH QJZ3UB@@pretalx.com -QJZ3UB Pythonによるネットワーク分析の基礎とコミュニティサクセスへの応用 en en 20240927T135000 20240927T142000 003000 Pythonによるネットワーク分析の基礎とコミュニティサクセスへの応用 ### 1. 自己紹介, 発表の全体像の紹介（3分） ### 2. ネットワーク分析の基礎（7分） ネットワーク分析の基本概念を紹介します。 - 数学的な表現方法や基礎概念の紹介 - 頂点（ノード）と辺（エッジ）の説明 - 隣接行列と次数分布､辺リストなど - ネットワークの分析の多様なアプローチの紹介 - **森（全体俯瞰）**: - ネットワーク可視化したり、クラスタ係数などの特徴量の計算 - **林（中間レベル）**: - クラスタリングを行ったり、経路上のボトルネックを特定し、ネットワーク内の特徴となる経路やグループの発見 - **木（個別の特徴）**: - 将来の友人関係の予測や口コミ情報の伝搬促進・抑制を行ったり、ネットワークの中で中心的な存在となる頂点を同定するなど - 実世界の事例の説明 ### 3. Pythonでのネットワークグラフの作成と操作（6分） PythonのNetworkXライブラリを用いて、ネットワークグラフを作成し、操作する方法をデモンストレーションします。 - NetworkXの基本： - グラフの作成方法、頂点と辺の追加方法 - 基本操作（ノードやエッジの削除、属性の追加） - 基本的な分析： - 次数中心性、媒介中心性、コミュニティの計算方法と理論の簡単な説明 ### 4. ネットワーク分析の応用（8分） 「Commune」のデータセットを用いた、ネットワーク分析の応用事例を紹介し、コミュニティサクセスにどのように活用できるかを説明します。 - コミュニティの全体像を理解する： - クラスター係数、次数分布とべき則のフィッティングを用いてネットワークを評価 - ネットワークの可視化方法と手法の解説 - 具体的な応用例： - リンク予測による引き合わせたい人のペアの発見 - 中心性指標を用いた中心人物の特定 - ネットワーク上のコミュニケーションのボトルネック（ブリッジの欠如や中心性の偏り）の評価 ### 5. データの取得方法（3分） ネットワーク分析に必要なデータをどのように取得するかについて具体例を紹介します。 - データソース：メール、Slackのユーザーアクティビティログなど、日常的に使用するツールからのデータ収集方法を解説します。 - データの前処理方法：収集したデータをネットワークデータに変換する方法を説明し、二頂点間をつなぐ辺と重みに変換する方法を示します。 ### 6. まとめとQ&A（3分） PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/QJZ3UB/ 20F Track2 Higuchi Kokoro PUBLISH 3HFBD8@@pretalx.com -3HFBD8 MLOpsの「あるある」な課題の解決と、そのためのライブラリgokart en en 20240927T144000 20240927T151000 003000 MLOpsの「あるある」な課題の解決と、そのためのライブラリgokart 本発表は、主にMLOpsでの「あるある」な課題解消にフォーカスしています。 LLMなどの発展もあり、今日では多くのアプリケーションに当たり前のように機械学習技術が組み込まれるようになってきました。 機械学習エンジニアだけでなく、機械学習を活用するアプリケーションに関わる/関わりたい/関わることになりそうな、多くの方に価値をお届けできると考えています。 ## 想定オーディエンス - 機械学習モデルをアプリケーションへの組み込みに苦心している、機械学習エンジニア - データの収集から分析を効率的に実施したい、データサイエンティスト - MLOpsと日々格闘している、データエンジニア/ソフトウェアエンジニア - モデルの再現性やバージョン管理で困っている、リサーチャー ## アジェンダ 導入: 機械学習プロジェクトの「あるある」な課題 - 実験した機械学習モデルの再現性がない - モデルのバージョニングが面倒 - バッチ実行のたびに重複した処理を繰り返して非効率的 - 似たような関数がプロダクトごとに重複して作られる - 開発者によって書き方がばらつき、他メンバーが読みにくい エムスリーでは「あるある」な課題をどう解消してきたのか？ - 再現性: 作成した機械学習モデルのキャッシュを使うので、実験結果を再現できる - モデルのバージョニング: モデル作成のコードとモデルファイルが1:1で対応する - 同じ処理を繰り返す: 処理結果のキャッシュファイルを活用 - 似た関数: 共通タスクを作って共有しやすい - 書き方のばらつき: クラス設計に縛りがあるので似やすい gokartの使い方紹介 - Taskを作る - 依存関係を記述する - パイプラインを実行する さらに効率化するために - パイプラインの記述を1つのTaskに集約 - TaskLockを使った分散処理 もっと知るには？ PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/3HFBD8/ 20F Track2 池嶋大樹 PUBLISH JYG9FT@@pretalx.com -JYG9FT 低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発 en en 20240927T155000 20240927T162000 003000 低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発 ## Overview 私の所属するコネヒト株式会社では、LLMを用いた施策のPoCや業務改善に取り組んでいます。 その中で、AIと気軽に触れ合える環境を提供することが非常に重要であると考え、OpenAI APIのリリース後にSlackからAIを体験できるSlack Appを開発しました。 また、社内文書を参照してAIに回答させたいというニーズの高まりと、RAG（Retrieval-Augmented Generation）という技術の登場により、社内文書に基づいた回答を生成する機能を追加で実装しました。 このRAGシステムをゼロから構築するためには、以下の点を考慮する必要があります。 - データの収集と管理 - ベクトル検索データベースの構築 - コスト管理 - ユーザーインターフェース etc ... 特に、コスト面については多くの方が気になる点ではないでしょうか。LLMを活用する際に避けて通れない考慮事項として、運用コストが挙げられることが多いと思います。 本トークでは、Slackを活用したAIチャットボットの構築と、そのチャットボットに社内文書に基づいた回答を生成させる機能（RAG）を低コストで実装した方法についてお話しします。 前半では、Slack Appで実現するシンプルなAIチャットボットの開発方法について説明し、後半では、AIチャットボットに社内文書に基づいた回答を生成させる仕組み（RAG）の紹介や、RAGを実現する上でのポイントや低コストで実現するTipsについて紹介します。 ## Outline - 導入（3分） - 自己紹介 - 概要説明 - LLMやRAGといった前提知識の共有 - このトークを聞いて得られるものの共有 - OpenAI APIとLangChainを用いたAIチャットボットの開発（10分） - システム構成図の紹介（AIチャットボットの部分） - Slack Appとは - LangChainとは - OpenAI APIとLangChainを用いたAIチャットボットの開発方法 - RAG機能の開発（10分） - システム構成図の紹介（RAG機能も取り入れた全体像） - Notion APIを用いた社内文書取得方法 - LlamaIndexを用いた文書のベクトル化、ベクトル検索機能の実現方法、低コストで実現するためのTips - AIチャットボットをより使いやすくするためのTips（2分） - プロンプトの工夫 - まとめと今後の展望について（2分） PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/JYG9FT/ 20F Track2 Takanobu Nozawa PUBLISH MD99N8@@pretalx.com -MD99N8 PythonのHTTPクライアントツール徹底比較 en en 20240927T164000 20240927T165500 001500 PythonのHTTPクライアントツール徹底比較 本トークでは、Pythonの代表的なHTTPクライアントライブラリであるrequests、httpx、urllib3、aiohttpなどを比較し、それぞれの機能、パフォーマンス、使いやすさについて詳しく解説します。特に、同期処理と非同期処理の違いやエラーハンドリングについて具体的なコード例を交えて紹介します。これにより、各ライブラリの強みと弱点を理解し、プロジェクトに最適なHTTPクライアントを選ぶためのヒントを習得することができます。具体的な使用シナリオに応じた推奨ライブラリの選定方法も紹介し、開発者が自身のニーズに最も適したツールを選べるようなヒントをお話します。これにより、HTTPクライアントライブラリの選定において、より確信を持って決定を下せるようになります。 PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/MD99N8/ 20F Track2 佐藤樹 PUBLISH MJ7GA9@@pretalx.com -MJ7GA9 MicroPythonとRaspberry Pi Pico Wで始めるマイクロコントローラー上でのワイヤレス通信 en en 20240927T170000 20240927T171500 001500 MicroPythonとRaspberry Pi Pico Wで始めるマイクロコントローラー上でのワイヤレス通信 PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/MJ7GA9/ 20F Track2 中村草介 PUBLISH XXCCQR@@pretalx.com -XXCCQR Crafting Your Own Numpy: Do More in C++ and Make It Python en en 20240927T113000 20240927T120000 003000 Crafting Your Own Numpy: Do More in C++ and Make It Python While most people typically use Numpy directly, as it generally meets their needs well, there are specific scenarios where a custom array library is necessary. In high-performance computing, real-time data processing, and large-scale simulations, users may require a library with a Numpy-like interface that offers enhanced performance and greater flexibility. We created an array library similar to Numpy, providing a comparable interface, high performance, and a high degree of customization. While Pybind11 allows us to bind C++ classes to Python objects easily, thus simply binding a C++ array to a Python object, challenges arise regarding the "dtype" of the array. With Numpy, we can create arrays using syntax like `np.array([...], dtype='float64')` to specify the underlying data type as "float64". Despite the specified "dtype", all Numpy arrays are always of the type "numpy.ndarray". In designing a Numpy-like array, we encountered an issue with this "dtype". Considering the C++ array templates with different data types, such as `Array<T>`, each data type results in a different template type, like `Array<int>` or `Array<double>`. However, we want to maintain a single array type on the Python side, so we cannot simply bind `Array<T>` to a Python object. This talk will explain our approach to addressing the "dtype" challenge in building our own Numpy-like library by leveraging C++'s compile-time type knowledge. PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/XXCCQR/ 4F Track3 An-Chi Liu PUBLISH WMF8VY@@pretalx.com -WMF8VY Fun with microcontrollers: Building a digital sundial using Python en en 20240927T130000 20240927T133000 003000 Fun with microcontrollers: Building a digital sundial using Python The objective of this talk is to show how easy it is to build a Python application which runs on a single board computer. It will walk attendees through the steps of getting a Python application running on a microcontroller that is attached to a small display. We use a circle drawn on the display to show the sundial broken into its different parts – dawn, daytime, twilight, and night. In order to correctly calculate the boundaries between these parts, we need the local time for solar day events. For a given latitude-longitude, we can get that data from the sunrise-sunset.org API, the use of which is free (as long as attribution is given). Once we have the details for solar events, we have all the information we need to draw the sundial on the display. The rest of the presentation shows the implementation of the digital sundial - both the Python code and the hardware. NOTE: Depending on which ends up working better, the hardware platform used will either be a Raspberry Pi Zero using CPython or an Adafruit Feather M4 Express using CircuitPython. PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/WMF8VY/ 4F Track3 Scott Irwin PUBLISH EKEGTU@@pretalx.com -EKEGTU Extracting Structured Data from LLMs with LangChain and Pydantic en en 20240927T135000 20240927T142000 003000 Extracting Structured Data from LLMs with LangChain and Pydantic Join me in this journey to understand and implement structured data extraction. With this powerful combination of tools, you'll learn how to craft data models using Pydantic's BaseModel for seamless integration with LangChain's output parser. Next, how to extract valuable information from LLM responses in structured formats like( lists, data frames), enabling further analysis and manipulation. And finally build supercharge LLM applications that require structured data transformations, parsing, or integration with machine learning models. Whether you're a data scientist, developer, or just curious about the possibilities of LLMs, this talk equips you with the skills to unleash the structured power of LLMs and build innovative applications. 1. Introduction: Highlighting limitations of plain text LLM responses. Introducing structured data extraction from LLMs. Exposure to LangChain and Pydantic's power. 2. Building the Data Model: Demo of defining data models with Pydantic's BaseModel. Exploring lists, dictionaries, and pandas DataFrames. Understanding data model interaction with LangChain's parser. 3. Structured Data Extraction: Live examples of querying LLMs for structured data. Transforming data for analysis. Integrating data with ML models. 4. Real-World Applications: Practical use cases of structured data extraction. Benefits and potential applications discussion. 5. Conclusion: Recap of key learnings and future directions. Exciting possibilities ahead. PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/EKEGTU/ 4F Track3 Kalyan Prasad PUBLISH FFMZJD@@pretalx.com -FFMZJD Unlocking the Power of Python's Collections Module en en 20240927T144000 20240927T151000 003000 Unlocking the Power of Python's Collections Module PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/FFMZJD/ 4F Track3 Italo Carvalho Vianelli Ribeiro PUBLISH AWNVEJ@@pretalx.com -AWNVEJ 名前空間について考える（unittest の patchを正しく使うために） en en 20240927T155000 20240927T162000 003000 名前空間について考える（unittest の patchを正しく使うために） Pythonの公式ドキュメントのpatchの説明の冒頭に次のように書かれています。 ``` 注釈 重要なのは正しい名前空間に対して patch することです。 where to patch セクションを参照してください。 ``` そして「どこにpatchするか」というセクションには次のような説明があります。 ``` 基本的な原則は、オブジェクトが ルックアップ されるところにパッチすることです。その場所はオブジェクトが定義されたところとは限りません。 ``` これを理解するためにはpythonの名前空間、スコープといった概念を理解する必要があります。 - 名前空間とスコープ - import 文の働き - import foo と from foo import barの違い - どこにpatchするのか？ 等について公式ドキュメントをベースに説明します。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/AWNVEJ/ 4F Track3 Akira Nonaka PUBLISH TEHUHS@@pretalx.com -TEHUHS Python Powered "Cyber Security" - Tools, Techniques, Exploitation and Automation en en 20240927T164000 20240927T165500 001500 Python Powered "Cyber Security" - Tools, Techniques, Exploitation and Automation PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/TEHUHS/ 4F Track3 Nirmal Dahal PUBLISH NQSJWY@@pretalx.com -NQSJWY Building Accessible Web Experiences with Python en en 20240927T170000 20240927T171500 001500 Building Accessible Web Experiences with Python Imagine the web as a giant library, but some people can't get in because the stairs are too high, the door is too narrow, or the signs are only in braille. That's what happens when websites aren't accessible! In this session, we'll explore how Python acts as a powerful toolkit for championing accessibility in web development. We'll delve into two key areas: 1. Automating Accessibility Testing with Python: We'll discover how libraries like Selenium and PyTest can be leveraged to create automated tests that simulate user interactions with disabilities. This approach will equip you to identify and resolve accessibility issues early in the development process. 2. Leveraging Python for Accessibility Research: We'll explore how Python's data analysis capabilities, through libraries like NumPy and Pandas, empower accessibility research. We'll discuss how researchers use Python to analyze data from accessibility testing tools, discover user behavior patterns, and contribute to the creation of improved accessibility evaluation methods. And why do we need to discuss this? Think of it like building a ramp next to the stairs in the library. It doesn't just help people with wheelchairs, it also helps parents with strollers, people carrying heavy bags, and anyone who just wants an easier way in. Web accessibility is like that ramp, making the web more inclusive and enjoyable for everyone! PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/NQSJWY/ 4F Track3 Khushboo Verma PUBLISH VEECBQ@@pretalx.com -VEECBQ 5年分のツケを一気に払った話 en en 20240927T113000 20240927T120000 003000 5年分のツケを一気に払った話 ## トークを通じて伝えたいこと 問題なく動いているシステムを修正するリスクをとるのは怖い。特にドキュメントもテストもなく、書いた本人もいなくなったコードが業務で使われている場合はリスクしかない、と言っても良い。そういう状況下ではpandasやnumpyといったパッケージがバージョンアップしたというだけの理由で新しいバージョンに対応するためだけの修正は先送りされがちである。 私は、「ドキュメントなし、テストなし、書いた本人もいない」という状態で引き継いだコードにドキュメントをつけ、テストを書き、自分以外のメンバーもそのコードをメンテナンスできるようにレクチャーをしてきたが、パッケージのバージョンアップ対応は避けてきていた。言い訳になるが工数的な余裕がなかったこともあるし、非エンジニア組織なので周囲の理解が得にくいという状況もあってリスクをとる勇気がなかった。 今回、諸事情から別マシンへの移行を余儀なくされるにあたり、移行のための工数確保が認められたので、これ以上の先送りはやめよう、とPythonのバージョンを3.6から3.11に上げる決断をした。 このトークでは移行にあたって直面した、さまざまな問題の中から、サードパーティパッケージのバージョンアップに伴って発生した問題点5つに絞ってご紹介する（OSやネットワーク環境の変更にともなう問題もいろいろあったが割愛）。 問題点配下の通り（トークでは原因をどう見つけたかも含めて説明予定） ### 問題1：pandasのエラーチェックが厳しくなった pandas.DataFrame.to_dict()関数でエラー発生。原因はorientパラメタのtypo。以前のpandasでは1文字目だけ見て判断していたので"records"とすべきところが"record"でも"recrods"でも動作していたが、pandas2.0以降は”records”と正しく書かないとエラーになる。typoを修正することで解決 ### 問題2: scikit-learnのモジュールのパラメータ仕様が変わった（3分） sklearn.linear_model.LogisticRegressionクラスのsolverパラメータのデフォルト値が以前はliblinearだったのが0.22以降lbfgsに変わったため、penalty="l1"を指定するとエラーになる。solver="liblinear"と明示的に指定することで解決 他にもimblearn.under_sampling.RandomUnderSamplerクラスのratioパラメータ廃止など、複数のモジュールで問題発生。個別に解決した ### 問題3: mongodbのAPI変更に伴いpymongoの関数も変わった（3分） 以前のpymongoではcollection.save()関数で、レコード追加なのかレコード更新なのかをいい感じに判断してくれていたがMongoDB4.2以降でdb.collection.save()というAPIが廃止されたためpymongoでも使えなくなった。insert_one()関数かreplace_one()関数かを明示的に指定することで解決 ### 問題4: PyPIのborutaパッケージが2019年以降更新されておらず最新のnumpyに対応していない（3分） PyPIのborutaパッケージを呼び出して使っているが、このパッケージが2019年以降更新されておらず、内部でnp.intやnp.floatを使っている。np.intやnp.floatはnumpy1.20で廃止されておりこのままではエラーになる。 パッケージのソースコードにパッチを当て、np.intをnp.int32、np.floatをnp.float64などに修正することで解決 ### 問題5: 保存したpickleを読み込むとエラー（5分） 機械学習で作成したモデルをpickle形式で保存し、後日呼び出せる仕組みになっていたが、scikit-learn0.23のときにあったsklearn.preprocessing.dataモジュールがscikit-learn1.3では名前が変わっており過去に作ったpickleを呼び出すとエラーになる（他にもいくつか同様のモジュールあり） これはデータの問題でありコード修正では解決できない。部署内で相談のうえ、過去の分析結果は新環境に引き継がないという判断をして解決（過去データを呼び出して利用する仕組みは別途構築） ## 得られた教訓と今後に向けて ドキュメントもテストもない、という状態で4年前に引き継いだコードにドキュメントをつけ、テストを書き、複数メンバーでコード修正ができるようにPython講習も重ねてきたが、リファクタリングは先送りしていた。 常に、とまでは言わないが定期的に最新の環境下でリファクタリングが実施できていれば、今回紹介した5つの問題に同時に直面する、ということはなかったはず。 安心してリファクタリングができるようになるためには、ドキュメントやテストがちゃんとしているということは前提。新規に作るものはドキュメントとテストを最初からきちんと用意し、その上で定期的なリファクタリングをおこなうための工数を確保していきたい。 ## 目次と30分の時間配分案 - 自己紹介（2分） - 概要説明（5分） - 発生した問題とその解決方法（解決難度の低い順。5つの問題計16分） - 問題1: pandasのエラーチェックが厳しくなった（2分） - 問題2: scikit-learnのモジュールのデフォルトパラメータが変わった（3分） - 問題3: mongodbのAPI変更に伴いpymongoの関数も変わった（3分） - 問題4: PyPIのborutaパッケージが2019年以降更新されておらず最新のnumpyに対応していない（3分） - 問題5: 保存したpickleを読み込むとエラー（5分） - 得られた教訓と今後に向けて（5分） （バッファ2分） PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/VEECBQ/ 4F Track4 soogie PUBLISH HT8JWU@@pretalx.com -HT8JWU Crimes with the Python syntax en en 20240927T130000 20240927T133000 003000 Crimes with the Python syntax Outline: - Introduction (2 minutes) - The convoluted Python import machinery (5 minutes) - Frame-hacking, and the `sys._getframe()` API. (5 minutes) - Tracers, debuggers, and changing your code at runtime. (5 minutes) - Bonus: `goto` statements in Python? (3 minutes) - Creating our own mini language inside Python, at runtime. (7-8 minutes) - Abusing the Python startup machinery to run arbitrary code. (7-8 minutes) - The end, and questionnaire. (10 minutes) PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/HT8JWU/ 4F Track4 Tushar Sadhwani PUBLISH EWJ8XJ@@pretalx.com -EWJ8XJ AI-powered Automatic Replies in Customer Support: Precision-Focused Approach at Mercari en en 20240927T135000 20240927T142000 003000 AI-powered Automatic Replies in Customer Support: Precision-Focused Approach at Mercari Outline: - Introduction (2 minutes) - Who am I? - Problems with chatbots in customer support - So why do we use AI for customer support? (3 minutes) - Examples of repetitive and trivial inquiries suitable for automatic replies - Examples of inquiries where no action is needed, and only information needs to be conveyed - Benefits to customers: instant response and resolution - Benefits to businesses: cost savings - Ensuring a good experience with AI replies (3 minutes) - Importance of precision in sending automatic replies - Design choices for a good customer experience - One-click escalation to human support agents - Automatic replies only sent as the first response - Designing a precise system for automatic replies (17 minutes) - Analyzing raw data to identify common inquiry patterns (1 minute) - Utilizing metadata for extra context (transaction status, shipping method, item price, etc.) (1 minute) - Introduction to transformers and their usage for text classification (5 minutes) - Introduction to fine-tuning pre-trained transformer models for text classification on Japanese text (5 minutes) - Designing and training ML models using inquiry texts and metadata (3 minutes) - Calibrating precision using output thresholds (1 minute) - Running A/B tests and impact on business metrics (1 minute) - Conclusion (2 min) - Q&A (3 min) --- Audience: Developers, data scientists, ML engineers, and business leaders interested in using AI to solve business problems including enhancing customer support operations. --- Outcome: By attending this talk, the audience will gain insights into how AI can be effectively used to enhance customer support while maintaining a positive customer experience. They will learn about the importance of precision in sending automatic replies, the process of analyzing customer inquiry data, and the use of machine learning techniques for text classification. The talk will also discuss the impact of implementing AI-powered automatic replies on business metrics. PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/EWJ8XJ/ 4F Track4 Prashant Anand PUBLISH SQAQXW@@pretalx.com -SQAQXW An overview of the optimisation pipeline in CPython 3.13 and onwards en en 20240927T144000 20240927T151000 003000 An overview of the optimisation pipeline in CPython 3.13 and onwards PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/SQAQXW/ 4F Track4 Jules Poon PUBLISH A8BQEF@@pretalx.com -A8BQEF Unlocking the Parallel Universe: Subinterpreters and Free-Threading in Python 3.13 en en 20240927T155000 20240927T162000 003000 Unlocking the Parallel Universe: Subinterpreters and Free-Threading in Python 3.13 Python 3.12 introduced a new parallel execution model called "sub interpreters" that uses a per-interpreter GIL to unlock a new way of writing parallel code that's faster than multiprocessing. Python 3.13 introduces another new parallel execution model called "free-threading" (previously called no-gil) that replaces that optionally removes the GIL so that threads can truly be parallel. Does free-threading make sub interpreters redundant? We'll answer that question in this talk. We unpack what sub interpreters are, how to use them and their limitations. We'll explore free-threading, the optional flag to remove the GIL in 3.13. Finally we look at a use case for sub interpreters and free-threading together, a multi-worker, multi-thread ASGI web server. We benchmark this against traditional web server architecture with multiprocessing and threading. So fasten your seatbelts, fellow Pythonistas! Let’s ride the comet tail of parallelism, leaving behind the single-threaded past. 🚀✨ PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/A8BQEF/ 4F Track4 Anthony Shaw PUBLISH FV9HPZ@@pretalx.com -FV9HPZ The Sense of Style: A Talk On Coding Aesthetics en en 20240927T164000 20240927T165500 001500 The Sense of Style: A Talk On Coding Aesthetics PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/FV9HPZ/ 4F Track4 Shiva Bhusal PUBLISH DTM3D8@@pretalx.com -DTM3D8 MLOps in Mercari Group’s Trust and Safety ML Team en en 20240927T170000 20240927T171500 001500 MLOps in Mercari Group’s Trust and Safety ML Team PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/DTM3D8/ 4F Track4 Calvin Janitra Halim Ayato Toyokuni PUBLISH EHFVUR@@pretalx.com -EHFVUR 【招待講演】PythonのUTF-8化 en en 20240928T102000 20240928T105000 003000 【招待講演】PythonのUTF-8化 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/EHFVUR/ 20F Track1 稲田 直哉 PUBLISH KY8DQW@@pretalx.com -KY8DQW Cloudflare Workers in Pythonでサーバーレスアプリケーションを作ろう en en 20240928T111000 20240928T114000 003000 Cloudflare Workers in Pythonでサーバーレスアプリケーションを作ろう ## Cloudflare Workersとは何か まず前提として、Cloudflare Workersの概要を説明します。 ## Cloudflare WorkersでPythonを使う方法 サンプルアプリケーションを元に、Cloudflare WorkersでPythonを使う方法を説明します。PythonのWeb開発では一般的なやり方がCloudflare Workersでは使えないケースがいくつかあります。これらについても説明します。 ## Cloudflare Workers上でどうやってPythonが動いているのか Cloudflare Workersでは、Pythonを動かすためにPyodideというWebAssembly製Pythonインタプリタを使っています。ここではなぜPyodideを採用したのか、どういう仕組みでPythonを動かしているのかを説明します。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/KY8DQW/ 20F Track1 Ryuji Tsutsui PUBLISH LXVHNY@@pretalx.com -LXVHNY 実例から学ぶ型ヒントの活用手法 en en 20240928T124000 20240928T131000 003000 実例から学ぶ型ヒントの活用手法 近年のPythonは型ヒントの強化が活発で、メジャーアップデートのたびに便利な機能が追加されています。 さらに型ヒントを活用するライブラリやツールも多く登場し、コミュニティからの絶大な人気を集めています。 プログラミング言語における「型付け」の活用方法として真っ先に思い浮かぶものは、静的解析により型の不整合を検出し、バグや実行時エラーを減らすことでしょう。 しかし、Pythonのエコシステムでは、従来の枠にとらわれない多種多様なアイディアで型ヒントが活用されています。 具体的な活用例としては次のようなものがあります。 - FastAPI - APIドキュメントの自動生成 - Dependency Injection - Pydantic - データバリデーション - SQLAlchemy 2.0 - データベース内のデータ型の決定や制約の付与 本セッションでは、これらのライブラリがそのアイディアをどのように実装しているかについて紹介します。 Pythonの型ヒントはまだまだ多くの可能性を秘めていると思います。 本セッションを通じて、普段の開発で型ヒントをより便利に活用し、新たなアイディアを自身の手で具体化していきましょう。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/LXVHNY/ 20F Track1 Rei Suyama PUBLISH MXKU77@@pretalx.com -MXKU77 SQLModel入門 〜クエリと型〜 en en 20240928T133000 20240928T140000 003000 SQLModel入門 〜クエリと型〜 「SQLモデルでのモデルクラスの書き方」では下記を話します。 * 基本的な型定義(int, strなど) * Fieldクラスのオプション(default, primary_key, indexなど) * 外部キー接続のある項目の型定義 * One to Many * Many to Many * SQLAlchemyでの定義の方法との比較(よしあしではなく、単純な構文の違いとして) 「クエリの書き方」では下記を話します。 * SELECT * JOIN * 集計関数 * INSERT * UPDATE * DELETE * SQL文の確認方法 * クエリの返り値の型ヒントの付け方 「FastAPIのアプリ内での使い方」では下記を話します。 * FastAPI開発者が提供するサンプルのリポジトリのユーザーを作成するAPI、ユーザーを取得するAPIのリクエストが送られてからDBにアクセスし、レスポンスを返すまでの流れを解説 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/MXKU77/ 20F Track1 Mizuki Sato PUBLISH LDEGFV@@pretalx.com -LDEGFV 実践Dash - 手を抜きながら本気で作るデータ可視化Webアプリの基本と応用 en en 20240928T142000 20240928T145000 003000 実践Dash - 手を抜きながら本気で作るデータ可視化Webアプリの基本と応用 # 実践Dash - 手を抜きながら本気で作るデータ可視化Webアプリの基本と応用 データ可視化アプリを手早く開発するFramework「[Dash](https://dash.plotly.com/)」を使って実装・運用した際に得たノウハウを紹介します. - 本番環境（クラウド）へのデプロイと公開 - Dashアプリケーションの認証認可 - 動的URLを用いたマルチページアプリケーションの実装 - Streamlitなど, 同様のWebアプリケーションフレームワークとの比較 以上の実践的なノウハウについても実装を元に紹介します. ## Summary 私は野球データ, 主にメジャーリーグのデータ分析・AIを使った成績予測等を効率的に行うため, 公開データを用いてデータ可視化・分析を行うデータ基盤を開発しました. 開発したシステムの一部として, TableauやPowerBI, Looker StudioなどのBIツールではなく, Python製のWebアプリケーションを用いてデータ可視化を行いました. Streamlitなど, いくつかの候補の中から「Dash」を選択し, 開発・運用をしましたがその際にいくつかの経験を得ました. - 本番環境（クラウド）へのデプロイと公開 - Dashアプリケーションの認証認可 - 動的URLを用いたマルチページアプリケーションの実装 - Streamlitなど, 同様のWebアプリケーションフレームワークとの比較 - そもそもBIツールで良いのでは? これらはPython使いの興味関心は勿論のこと, すべてデータ基盤開発, 運用などで再現性がある話題であると認識しており, 本トークにて知見やノウハウを共有します. ## Agenda 本トークで予定しているAgendaとなります. 1. 自己紹介 1. Dash基本編 - Hellow World - Pandasとの連携 - Plotlyのグラフを埋め込む - RESTful APIとの連携 1. Dash応用編 - Single PageからMulti Pageに作り変える - 認証認可を実装する - Google Cloud（Cloud Run）にデプロイする 1. Dashとアレを比べる - DashとStreamlit - DashとBIツール 1. 実際に作ったアプリの紹介 - メジャーリーグデータの可視化 - マルチページを使った実践的な運用 1. 結び ## Reference 本トークの前提となる過去資料は以下の通り. - [PythonとGoogle Cloud, Spreadsheetで「自分のためのスポーツ観戦DX」をプロダクト化して実現した話(2024/5公開).](https://shinyorke.hatenablog.com/entry/baseball-data-transformation-2024) - [Dashで作った分析ダッシュボードをCloud Runでサクッと運用する(2022/11公開)](https://shinyorke.hatenablog.com/entry/cloud-run-and-dash) PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/LDEGFV/ 20F Track1 Shinichi Nakagawa(@shinyorke) PUBLISH TPXKZ9@@pretalx.com -TPXKZ9 WEBアプリケーションにおけるAWS Lambdaを用いた大規模な非同期処理の実践 en en 20240928T153000 20240928T160000 003000 WEBアプリケーションにおけるAWS Lambdaを用いた大規模な非同期処理の実践 ### 導入 まずは一般論として、WEBアプリケーションにおいて大量のメール配信や画像生成など、実行時間がかかる処理は非同期で実行するのがよい理由を簡単に確認します。次にPythonで非同期処理を実装する場合に最初に候補に上がるライブラリであるCeleryを紹介します。そして題材とするWEBアプリケーションにおいて、一部をAWS Lambdaに移行する前のCeleryを使用したアーキテクチャとその課題を説明します。 ### メイン AWS Lambdaに移行後のアーキテクチャを説明します。その後に、具体的にAWS Lambdaを用いてどのように実装したかや、以下のような本番のアプリケーションでAWS Lambdaを使用する上での課題とその解決策を説明します。その際に、[amazon-sqs-python-extended-client-lib](https://github.com/awslabs/amazon-sqs-python-extended-client-lib)や[powertools-lambda-python](https://docs.powertools.aws.dev/lambda/python/latest/)といったPythonライブラリを使用することで実装量を削減することができ、開発者はビジネスロジックの実装に集中できるようになることを合わせて説明します。 - SQSの256KB上限問題 - amazon-sqs-python-extended-client-libとS3の使用 - Lambdaの処理のエラーハンドリング - リトライ - デッドレターキュー - batchItemFailures - Powertools for AWS LambdaのSQSサポート機能 - 各種AWSサービスのタイムアウト系のパラメータ - 冪等性の担保 - DynamoDB - Powertools for AWS Lambdaのidempotency機能 ### おまけ 時間があったらテストやデプロイなどのトピックにも軽くふれます。 ### 話さないこと - 各種AWSサービスの基本的な説明 - アーキテクチャの選定理由 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/TPXKZ9/ 20F Track1 Masataka Okudera PUBLISH 7SCEYW@@pretalx.com -7SCEYW DjangoとFastAPIによる実践認証技術 en en 20240928T162000 20240928T165000 003000 DjangoとFastAPIによる実践認証技術 今日ではSPA + WebAPIなどによるフロントとバックエンドを分ける構成が増えてきています。そのため、DjangoやFastAPI上でその構成を考慮した認証の仕組みを開発する必要があります。 開発者がDjangoおよびFastAPIを使用して安全かつ効果的なWebアプリケーションを構築するための認証技術を理解し、実際のプロジェクトで即座に応用できるような知識やノウハウをお話ししていきます。 特に、ステートレス認証とステートフル認証の概念や違い理解し、認証の種類や仕組みなど適切な場面での利用方法などをお話しします。 アジェンダ - 認証の基本概念と重要性 - 認証とは何か、その役割と必要性 - 認証と認可の違い - ステートレス vs ステートフル認証 - セッション認証とトークン認証の基本概念と仕組み - 両者の違いと利点・欠点 - トークン管理とセキュリティ考慮事項 - Djangoにおける認証技術 - デフォルトの認証機構の概要 - トークンベースの認証と実装 - JWTの認証と実装 - django-ninjaやdjango-restframeworkの認証の内部仕組み - FastAPIにおける認証技術 - トークンベースの認証と実装 - JWTの認証と実装 - 実際の適用例とベストプラクティス - システム設計における実例 - 弊社での成功事例とそこで直面した課題とその解決策 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/7SCEYW/ 20F Track1 大島和輝 PUBLISH TUPJBN@@pretalx.com -TUPJBN Day2 Keynote en en 20240928T173000 20240928T180000 003000 Day2 Keynote PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/TUPJBN/ 20F Track1 PUBLISH GF98CT@@pretalx.com -GF98CT Re:PandasAI：生成AIがデータ分析業務にもたらすパラダイムシフト【増補改訂版】 en en 20240928T102000 20240928T105000 003000 Re:PandasAI：生成AIがデータ分析業務にもたらすパラダイムシフト【増補改訂版】 - 対象者（どんな方に聞いてもらいたいか？） - PythonやSQLを使用してデータ分析を行っているが、生成AIの活用により複雑なコードを書かずに分析作業を効率化したい、自然言語でデータにクエリを投げたいと考えている人。また、SQLやPythonに慣れていない人や、データを扱うときに時間と労力を節約したい人。データ分析の自動化に興味がある初心者から中級者を対象とします。 - 目的（トークを聞いた方に伝えたいこと） - 生成AIがデータ分析業務にもたらすパラダイムシフトとして「複雑な分析関連コードを書く代わりに、自然言語による対話的なデータ分析」を本セッションを通じて体験してみませんか？ - 本セッションでは、生成AIを利用したデータ分析の効率化と自動化に焦点を当て、特に、自然言語によるデータ分析機能を提供するPandasAIというライブラリの可能性を紹介します。実世界のデータ分析課題にPandasAIをどのように適用できるか、そのベストプラクティスを共有し、データ処理、クリーニング、可視化、および特徴量生成のプロセスを簡略化する方法を提示します。 - タイムライン - 機械学習の基礎（5分） - 機械学習とは - 人に比べて機械学習のここがいい - 機械学習を活かすポイント - 機械学習が失敗するパターン - 「機械にやらせるなら、ルールを書けば？」 - ルールに基づく判断の限界 - 生成AIは何ができるものなのか？ - 生成AIの基礎（3分） - 言語モデルとは？ - 大規模言語モデル（LLM）とは？ - 大規模言語モデルの仕組み（最近のパターン） - データ分析の基礎（5分） - What is Data Science? - Motivation - 世はまさに大可視化時代 - PandasAIとは（15分） - PandasAIとは（特徴） - PandasAIの仕組みは？ - LLMの潜在的な課題（参考） - 悪意のあるコードが生成された場合は？ - PandasAIを理解するためのメインコンポーネント３つ - デモ（2分） - まとめ（1分） - お役立ちリンク集 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/GF98CT/ 20F Track2 Ryosuke TANNO PUBLISH LZN3C3@@pretalx.com -LZN3C3 データフレームライブラリ徹底比較 en en 20240928T111000 20240928T114000 003000 データフレームライブラリ徹底比較 ### 背景 データフレームとは、データサイエンスや機械学習、データエンジニアリング、ウェブ開発等、さまざまな分野で広く使用されてる表形式のデータ構造です。これらの分野では、大量のデータを効率的に操作し、分析するためのツールが必要不可欠であり、そのためにデータフレームが使用されます。Pythonにおいては、長年にわたってpandasがデータフレームの機能を提供するライブラリ（以下、データフレームライブラリ）のデファクトスタンダードとして位置づけられてきました。近年では、性能向上や特定の場面への適応を目的として、新たなデータフレームライブラリも公開されています。 ### 動機 プロジェクトに最適なライブラリを選択するために、データフレームライブラリの違いを多角的に理解することが重要な課題となります。具体的には、処理性能、実装機能、利用状況、サポート状況、学習コスト等の違いの理解が必要となります。 ### 目的 本発表では、2024年9月時点での情報に基づき、主要なデータフレームライブラリ（pandas、Polars、PySpark、Dask、Modin、FireDucks等）を様々な観点から比較します。これにより、参加者が自身のプロジェクトに最適なライブラリを選択するための知識と洞察を得ることを目指します。 ### 予定稿 1. 自己紹介 2. 発表概要 - 背景 - 動機 - 目的 3. データフレームライブラリの紹介 - 主要なデータフレームライブラリ（pandas、Polars、PySpark、Dask、Modin、FireDucks等）の概要を紹介 4. データフレームライブラリの比較 1. 処理性能の比較 - パフォーマンス検証に基づき各ライブラリの処理速度およびメモリ効率（大規模データ処理や並列処理の能力）を比較 2. 実装機能の比較 - 各ライブラリが提供する機能（特定のデータ操作のサポート、特にGPU対応可否等）を比較 3. 利用状況の比較 - ソフトウェアエコシステムにおける各ライブラリの普及状況や利用頻度（依存関係）を比較 - プラットフォームおよびコミュニティにおける評価を比較 4. サポート状況の比較 - 主要なライブラリからのサポート状況を比較 5. 学習コストの比較 - デファクトスタンダードであるpandasとの差分を基準として操作性を比較 - 参考となる記事や書籍の豊富さを比較 5. まとめ ### 調査対象 - [GitHub](https://github.co.jp/) - [Qiita](https://qiita.com/) - [Libraries.io](https://libraries.io/) - 等 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/LZN3C3/ 20F Track2 桂川大輝 PUBLISH CLJQ37@@pretalx.com -CLJQ37 「巨人の肩の上」で自作ライブラリを作る技術 en en 20240928T124000 20240928T131000 003000 「巨人の肩の上」で自作ライブラリを作る技術 「Pythonで◯◯を実現したいが、既存ライブラリでは少しだけ要件に合わない」。そんな状況に直面した経験がある方も多いのではないでしょうか？ 本発表では、既存ライブラリを拡張して自作ライブラリを作ろうと試みる場面を題材にします。 自作ライブラリの開発は、多くの手順を含む奥深い作業です。しかし、具体的に何をどのように考えれば良いのかは自明でなく、過去の知見を共有している事例は多くありません。 本発表では、講演者の実際の業務を例に、特定の目的に向けて既存技術を調査し、自作のPythonライブラリを実装・評価する一連の流れを紹介します。作成したのは「ニュース記事のテキストから時間表現を抽出し、省略を補完し正確な日付を特定する」ライブラリです。たとえば、2024年10月1日に公開された記事内の「PyCon JP 2024が27〜29日に開催された」というテキストを「PyCon JP 2024が2024年9月27〜2024年9月29日に開催された」と書き換えます。 具体的には、既存ライブラリの「[ja-timex](https://github.com/yagays/ja-timex)」を拡張し、自作ライブラリ「jaROTE (Reproducing Omitted Time Expressions for Japanese)」を開発しました。開発の手順は①要件の確認②既存ライブラリ・文献の調査③方針の策定④実装・性能評価・改善ーーから成ります。本発表では、それぞれの手順について、何をどう考えて実行したかを説明し、得られた教訓を共有します。 Pythonの偉大なるエコシステムの中で、自分自身がやりたいこと・やるべきことを見定め、開発を進めていく一例として、皆さまの参考になればと考えています。 本講演の講師は、事業会社の研究開発部門に在籍し、Pythonを用いて日々開発を進めています。業務の中では、学術論文の調査・執筆も担当しています。Pythonでの開発作法だけでなく、既存ライブラリや文献を調査しながら「巨人の肩の上」で新規の提案をする考え方についても言及します。 本発表の構成は以下のとおりです。 - 導入（8min） - 新聞記事を用いた大規模言語モデルの開発 - 新聞記事内では、時に時間表現が省略されている（例：「PyCon JP 2024が27〜29日に開催された」） - 省略された時間表現は、大規模言語モデルにとって親切ではない（例：「PyCon JP 2024はいつ開催された？」という質問に答えるには情報が足りない） - 作成した自作ライブラリのデモ - pip install 可能な自作ライブラリと、streamlit ライブラリによるデモサイト - 記事の公開日を用いて、省略された時間表現を補完する（例：公開日「2024年10月1日」の場合「PyCon JP 2024が27〜29日に開催された」を「PyCon JP 2024が2024年9月27〜2024年9月29日に開催された」に） - 自作ライブラリの開発手順（20min） - ①要件の確認 - 手作業で入出力を定義してみる（例：自分で数件の新聞記事に対して期待する出力結果を作成する） - 計算資源や実行時間の制約を考える（例：大規模言語モデル向けのテキストは膨大で、実行時間は短い方が望ましい） - ②既存ライブラリ・文献の調査 - 既存文献の調査（時間表現の抽出と、省略の補完の処理を分けて考えると良さそう） - 参考文献リストは下記に掲載 - 既存ライブラリの調査 - 時間表現の抽出のためのライブラリ - 今回採用した「[ja-timex](https://github.com/yagays/ja-timex)」 - 今回は採用しなかった「[KWJA](https://github.com/ku-nlp/kwja)」 - 今回は採用しなかった「ChatGPT」などの大規模言語モデル - ③方針の策定 - ①の要件を踏まえて、正規表現で高速に動作する ja-timex を採用 - KWJA や大規模言語モデルは優れているが、実行時間がかかるため、今回は不採用に - 時間表現を ja-timex で抽出した後、省略を補完する部分のみを自前で実装するという方針に - ④④実装・性能評価・改善 - setup.py によるライブラリ化 - ①で手作業で定義した入出力を用いて、テストケースを作成 - pytest ライブラリを用いて、テストファースト開発を進める - 実装は、テスト駆動開発の中で挙動を評価 - 性能は「[日本経済新聞記事オープンコーパス](https://nkbb.nikkei.co.jp/alternative/corpus/)」で評価 - 今後改善すべき箇所や方針についても報告 - まとめ (2min) 参考文献リスト： - 事象に対する網羅的な時間情報アノテーションとその分析 https://www.jstage.jst.go.jp/article/jnlp/26/1/26_179/_article/-char/ja/ - 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション https://www.jstage.jst.go.jp/article/jnlp/20/2/20_201/_article/-char/ja/ - Inference of Absolute Time Value from Temporal Expressions https://ieeexplore.ieee.org/abstract/document/9671863 - BCCWJ-TimeBank: Temporal and Event Information Annotation on Japanese Text https://aclanthology.org/O14-4001/ - SUTime: A library for recognizing and normalizing time expressions https://aclanthology.org/L12-1122/ - Leveraging a Bilingual Corpus to Resolve Date–Duration Ambiguity in Japanese Numeric Day Expressions https://www.jstage.jst.go.jp/article/jnlp/29/2/29_638/_article/-char/ja/ PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/CLJQ37/ 20F Track2 石原祥太郎 PUBLISH 7GPRYL@@pretalx.com -7GPRYL Rustを活用したPythonライブラリの開発 en en 20240928T133000 20240928T140000 003000 Rustを活用したPythonライブラリの開発 Python以外の言語で実装された機能（モジュール、クラス、関数）をPythonのライブラリとして使用することが可能です。 有名なものでは Numpy / Pandas は高速化のために主にC言語をベースに実装されています。 もちろんPyConはPython開発者のためのカンファレンスなので、Rustのことに偏りすぎないような内容を心掛けます。 - イントロダクション: C/C++ や Rust などのコンパイル言語でPythonライブラリを開発するメリット、内部的な仕組みを紹介します。 - 開発方法 - テスト、デバッグ - デプロイ、配布 - 実際の活用例: 最近コア実装をRustで実装したことで話題になったpydantic v2 (pydantic-core) の中身について触れ、実際のメジャーなライブラリがどのように開発されているのかを紹介します。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/7GPRYL/ 20F Track2 Shota Kokado PUBLISH DAH78A@@pretalx.com -DAH78A Pythonによるイベントソーシングへの挑戦と現状に対する考察 en en 20240928T142000 20240928T145000 003000 Pythonによるイベントソーシングへの挑戦と現状に対する考察 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/DAH78A/ 20F Track2 Masanobu Naruse PUBLISH XJTHPU@@pretalx.com -XJTHPU Pythonと相互運用可能な静的型付け言語Erg en en 20240928T153000 20240928T160000 003000 Pythonと相互運用可能な静的型付け言語Erg ## 予定稿 * なぜ新しいプログラミング言語が必要なのか Pythonは素晴らしい言語ですが、決して銀の弾丸ではなく、ある観点からは弱点があることを指摘します。そして、その弱点を補う新しい言語の必要性を示します。 * Ergの言語機能について 前章で指摘したPythonの弱点を補うため、Ergがどのような言語機能を持つか概観していきます。 * 型システム Erg独自の言語機能の中でも最も特徴的なのが、静的型システムです。ErgはPython APIの柔軟さを保ったまま静的型付けの恩恵を受けるため、非常に強力な型システムを搭載しています。この型システムについて、ざっくりと概観します。 * 現状どの程度のことができるか 現代のプログラミングは、もはや言語処理系本体だけで完結するものではありません。パッケージマネージャやLanguage Serverなど、周辺ツールすなわちエコシステムがどれほど整備されているかが非常に重要です。 Ergは"battery included"の精神を受け継ぎ、これらの開発ツールを標準で同梱しています。これらのツールは現状どれほどのことができているのかをみます。 * pylyzerの紹介 pylyzerはErgの型検査器を流用して開発されたPython向け型チェッカー/Language Serverです。 本章ではpylyzerを紹介し、既存ツールとの比較も行います。 * FAQ * 今後の開発予定 * まとめ PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/XJTHPU/ 20F Track2 Shunsuke Shibayama PUBLISH KZE7BV@@pretalx.com -KZE7BV Pythonで3次元CGを作りたい人のためのPyVista入門 en en 20240928T162000 20240928T165000 003000 Pythonで3次元CGを作りたい人のためのPyVista入門 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/KZE7BV/ 20F Track2 Tetsuo Koyama PUBLISH BQXVWE@@pretalx.com -BQXVWE Pythonで 日本語処理 入門 〜フリガナプログラムを作ろう〜 en en 20240928T102000 20240928T105000 003000 Pythonで 日本語処理 入門 〜フリガナプログラムを作ろう〜 * アジェンダ、ゴール(1m) * Who am I?(1m) * 自然言語処理とは、形態素解析とは(3m) * 形態素解析とは、形態素、用途 * フリガナプログラムの仕様(2m) * Janomeで形態素解析(3m) * 特徴 * インストール * 形態素解析を実行 * 読みを取得 * 分かち書き * Janomeでフリガナ(5m) * フリガナを振るプログラムを作成 * 送りがな対応 * 辞書をカスタマイズ * Janomeの課題 * SudachiPyで形態素解析(3m) * 特徴 * インストール * 形態素解析を実行 * 読みを取得 * 分かち書き * SudachiPyでフリガナ(7m) * フリガナを振るプログラムを作成 * フリガナ処理の改善 * 辞書のカスタマイズ、コスト調整 * フリガナレベル対応(2m) * まとめ(2m) PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/BQXVWE/ 4F Track3 Takanori Suzuki PUBLISH UJHF3D@@pretalx.com -UJHF3D Pythonの数学機能を学ぼう！その仕組みも学ぼう！ en en 20240928T111000 20240928T114000 003000 Pythonの数学機能を学ぼう！その仕組みも学ぼう！ 我々は空気のようにPythonの関数機能を使っています。例えば、加減乗除やmath.sqrtなどです。このように基本的な計算機能は最も普段使いされているPythonの機能と言えるでしょう。 Pythonの数学的な動きは一体どうなっているのかを理解することによって、普段書いているコードも少し違った目線になるに違いありません。例えば math.fma(x, y, z) というx * y + zを返すだけの関数があるのですが、そもそもなぜこんな関数が定義されているのでしょうか。x * y + z と書いてはいけないのでしょうか。そしてこの関数を呼ぶことに何の意味があるのでしょうか。 このようなバックグラウンドの仕組みを理解することによって、普段書いているコードにもハリがでるに違いありません。 発表者はこのPythonの数学的な標準的な関数の動きを解説します。Pythonの数学関数についてであり、NumpyやSciPyについては含みません。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/UJHF3D/ 4F Track3 curekoshimizu PUBLISH AYJ3GS@@pretalx.com -AYJ3GS Pythonを活用したLLMによる構造的データ生成の手法と実践 en en 20240928T124000 20240928T131000 003000 Pythonを活用したLLMによる構造的データ生成の手法と実践 近年、ChatGPTに代表される大規模言語モデル（LLM）の発展は目覚ましく、様々なタスクへの応用が期待されています。しかし、LLMのアプリケーションを開発する際、LLMが出力するデータの構造や型について制御する場面が多々あり、それについて悩んでいる開発者も多いと思います。 本セッションでは、これらの課題に対する解決策として、Pythonを中間コードとして用いる手法を紹介します。具体的には、LLMにPythonコードを生成させ、これを実行することによって、より正確なデータを生成する方法について説明します。 このアプローチにより、例えば以下の効能が得られます。 - 反復的なデータを直接列挙するよりも、出力トークンの効率が向上し、レスポンス時間短縮が可能、 - 数値や計算について、より厳密な結果が期待できる。 - 時間や日付の計算が正確に行える。 - データの変換処理（文字列置換など）をプログラムの処理として定義できる。 特に、ターゲット言語をPythonにすることで、Pythonのエコシステムを活用できる利点もあります。具体的には以下のような利点があります。 - リストやネスト構造を含む複雑なデータ構造をdataclassとして表現可能。 - f-stringによるコンパクトで柔軟な文字列フォーマット。 - calendarパッケージ等、便利な標準ライブラリとの連携。 - Pydanticなどを用いた結果のバリデーションの自動化、シリアライゼーション/デシリアライゼーションの自前実装が不要。 しかし、LLMが生成したコードの実行は危険なコードが出力されうるというセキュリティリスクが伴います。そこで、本セッションでは加えて、WebAssemblyによるサンドボックス化を用いた安全なコード実行環境も紹介します。WebAssemblyを用いることで、実行時間、メモリ、I/Oを制限し、安全性を確保しつつ、低レイテンシを実現します。また、dataclassのシリアライズ/デシリアライズによって、アプリケーションとサンドボックス間のデータ連携もシームレスに行うことができます。 本セッションでは、実用的なマーケティングアプリケーションの設定ルール生成を題材としたデモを行います。これは実際に自社のクラウドアプリケーションを例に取り、具体的なアーキテクチャを示します。 さらに、JSONの直接出力や他のプログラミング言語との比較実験を通じて、本手法の精度、レイテンシ、出力トークン量を評価し、その有効性を検証します。 このセッションを通して、参加者はPythonを活用したLLMによる構造的データ生成の手法とその実践的な構築方法について深く理解することができるでしょう。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/AYJ3GS/ 4F Track3 柴内一宏 PUBLISH LAJELM@@pretalx.com -LAJELM データサイエンスのフルサイクル開発を実現する機械学習パイプライン en en 20240928T133000 20240928T140000 003000 データサイエンスのフルサイクル開発を実現する機械学習パイプライン #### 1. はじめに - 自己紹介とセッションの目的説明 - 自己紹介 - セッションの目的と概要 #### 2. 弊社におけるデータサイエンティストの特徴 - フルサイクル開発の定義と重要性 - 弊社(CARTA MARKETING FIRM)におけるフルサイクルデータサイエンティストとは #### 3. 課題と理想の機械学習基盤 - フルサイクルデータサイエンティストの責務の曖昧さとその影響 - 課題の詳細と実際の影響 - 理想の機械学習基盤とは - ロジック開発やデータ分析に集中できる環境の重要性 #### 4. 弊社のデータ分析基盤の歴史 - Luigiを使った基盤の紹介とその成果 - Luigiの導入背景 - Luigiの利点と欠点 - データ基盤(codename: vision)ができたことによる責務の変化 - データパイプライン基盤 -> データエンジニア - 機械学習基盤 -> データサイエンティスト - LuigiからSageMakerへの移行 - SageMakerの導入背景と利点 - なぜSageMakerがフルサイクルデータサイエンティストに不向きだったか - SageMakerからPrefectへの移行 - Prefectの導入背景と利点 - 具体例 - インフラ構築のためのコード量の削減 - Pythonのみでの記述が可能 - 監視や運用がしやすいUIの提供 #### 5. 成果と今後の展望 - 弊社での現在のデータエンジニア、データサイエンティスト、ソフトウェアエンジニアのそれぞれの責務 - 今後の計画や改善点 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/LAJELM/ 4F Track3 Cristian Kamiya PUBLISH HP8JPT@@pretalx.com -HP8JPT PythonとOpenCVで楽しむ物体検出！ en en 20240928T142000 20240928T145000 003000 PythonとOpenCVで楽しむ物体検出！ ## OpenCVとカスケード分類器の概要 OpenCVは、コンピュータビジョンのタスクを簡単に実行するための多数の関数を提供しています。特に、カスケード分類器は、物体検出において高いパフォーマンスを発揮します。この分類器は、複数の簡単な特徴を組み合わせて物体を検出し、リアルタイムでの処理にも適しています。 ## 物体検出の手法 物体検出のプロセスは、以下のステップで構成されます。 - 画像の取得: ウェブカメラからの映像をキャプチャします。 - 前処理: 画像をグレースケールに変換し、ノイズを除去します。 - 特徴抽出: Haar特徴量を計算し、カスケード分類器を用いて顔を検出します。 - 結果の表示: 検出された顔に枠を描画し、結果を表示します。 ## 条件分岐の導入 物体を検出した際に、特定のアクションを実行するために条件分岐を取り入れます。例えば、顔が検出された場合に「顔検出」というメッセージを表示するだけでなく、ログに記録したり、特定のイベントをトリガーすることが可能です。これにより、物体検出の応用範囲が広がり、実践的なシステムの構築が可能となります。 ## ビデオと静止画での検出 ビデオストリームと静止画の両方から物体を検出する手法についても解説します。リアルタイムでの物体検出は、ビデオストリームをフレームごとに処理することで実現されます。一方、静止画からの検出は、単一のフレームに対して同様の手法を適用します。 ## 実践例の紹介 最後に、物体検出技術を利用した実践的な例を紹介します。例えば、監視カメラシステムやインタラクティブなアートインスタレーションなど、様々な応用例を通じて、物体検出技術の可能性を探ります。 このトークは、PythonとOpenCVを用いた物体検出の基本から応用までを網羅し、参加者が実際に技術を活用できるようになることを目指しています。 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/HP8JPT/ 4F Track3 Lina Katayose PUBLISH PLGWSS@@pretalx.com -PLGWSS Pythonで3Dモデリングをしてみよう: CadQuery Basic en en 20240928T153000 20240928T160000 003000 Pythonで3Dモデリングをしてみよう: CadQuery Basic ## トークの流れ * 3Dデータを自分たちで作れるようになるために * Maker文化を紹介します * 3Dプリンタを扱う上では必要不可欠な存在 * 3DCADの概要 * 二次元と三次元について: 2DCAD, 3DCADの違い、3Dのメッシュデータとソリッドデータ。 * 3DCADの種類: プロプライエタリやOSSを交えて * パラメトリック/ノンパラメトリックの違い: 特徴を説明します * 点、エッジ、フェース、ソリッド、サーフェス、スプラインの概要 * CadQueryとは * プログラマブルな3DCAD: そのほかの同種のCADもご紹介: OpenSCAD * Open CASCADE kernelを使ったプログラマブルな3DCAD * 環境の作り方: VSCode での作り方を紹介 * How to Use CadQuery Basic: デモを交えて紹介します * 作業面について: * ソリッドを作る: 立方体、球体など * モデルを組み合わせたり、ブーリアン演算について扱います。 * ファイルを出力する。メッシュデータのSTL、 ソリッドデータのSTEPを書き出します。 * 3Dプリンタで出力してみる: 実際に3Dプリンタを動かす様子もお見せします（遠隔で操作をするので通信環境によっては中断する可能性もあります） * まとめ PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/PLGWSS/ 4F Track3 Hiroshi Sano PUBLISH HFE3MV@@pretalx.com -HFE3MV プロダクションでのPython非同期ユースケース - Trio/Trio-Utilを中心に en en 20240928T162000 20240928T165000 003000 プロダクションでのPython非同期ユースケース - Trio/Trio-Utilを中心に ## 詳細 Python の非同期の歴史は非常に古く、1999年のPython1.5.2標準ライブラリasyncoreからアイディアははじまり、そこから、Twisted, Tornado, CurioといったサードパーティのライブラリがPython非同期のマイルストーンとなり、Python3.4標準ライブラリasyncioが追加され、2024年現在さらなる進化を遂げています。 おそらく、市場での多くのユースケースはIOを多用するWebでの活用で、FastAPIやDjangoでasyncioを利用されている方も多いのではないでしょうか？今回のトークでは、asyncioと同時期にリリースされ「structured concurrency」という概念に強く影響を受けた Python非同期のサードパーティライブラリ「Trio」について、asyncioとの比較を交え紹介します。 anyioって何？なぜTrioを選択したのか。世界的に見ても稀有なTrioをプロダクションで利用している事例を中心に、実際のコードを交えTrioとasyncioの比較をしながら、ユースケースをご紹介します。 ## 予定稿 * 導入(5min) * なぜTrioを採用したのか（10min） * ロボット開発における意思決定エンジン * プロダクトの価値を最大化するための手段 * Trioとasyncioのコードを交えた比較 * Trioでの「structured concurrency」 * APIの比較 * Trio-utilの利点 * Python非同期のこれから * anyioとGlobal Backend * sub-interpreters や free threadingとの協業 ## 想定する参加者 * Pythonの基本的な構文がわかる方 * Python非同期を使ってみたい方 * (nice to have) pythonまたは他の言語で非同期を触ったことがある方 ## 聴衆が獲れるもの * ロボットでのPython 活用事例 * Python非同期に関する理解 * Python 非同期で何を選択するかの考慮 PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/HFE3MV/ 4F Track3 Junya Fukuda PUBLISH C8NS9J@@pretalx.com -C8NS9J pytest プラグインを開発して DRY に自動テストを書こう en en 20240928T170000 20240928T171500 001500 pytest プラグインを開発して DRY に自動テストを書こう このセッションでは以下のような内容について話すことを予定しています。 #### pytest のプラグインを作ろうと思った背景 私が所属している会社のプロダクト開発において実際に開発者から上がっていた声を紹介しつつ、どのようなペインがあったかを説明します。 #### プラグインで提供している機能 上記の課題を解決するために pytest プラグインで提供している機能を紹介します。 - Docker で MySQL のコンテナを起動する - 起動した MySQL コンテナのヘルスチェックが通るまで待機する - 上で起動した MySQL コンテナの DB セッションを提供する - 上で起動した MySQL コンテナの DB にテーブルを作成する - factory のセッションを提供する - テストメソッドごとにデータベースのトランザクションをロールバックする #### プラグインのディレクトリ設計 具体的なディレクトリ設計や、プラグインをインストールして使えるようにするための仕組みを説明します。 #### 自動テスト並列実行のための工夫 プラグインを使って自動テストを実行する際に、テスト実行を高速化することを目的に並列実行ができるようにしました。ただし、データベースへの読み書きを伴うテストがある場合、並列実行のプロセスごとに独立のデータベースを使わなければ、別プロセスが書き込んだデータによりテスト結果が変わってしまい実用に耐えません。 データベースへの読み書きを伴うテストがある場合でもテストを並列実行できるようにするための実装上のポイントを紹介します。 #### プラグインが正常動作することを保証する プラグインが期待した動作をすることを保証するために、プラグインの自動テストを書く方法を紹介します。 #### プラグインを導入する 実装した pytest プラグインを使って自動テストを実装する方法を紹介します。 PUBLIC CONFIRMED Mini Talk https://pretalx.com/pyconjp2024/talk/C8NS9J/ 4F Track3 Atsushi Inutsuka PUBLISH LVRBQA@@pretalx.com -LVRBQA Streamlining Testing in a Large Python Codebase en en 20240928T102000 20240928T105000 003000 Streamlining Testing in a Large Python Codebase Outline Overview: (5 minutes) - Python Testing with pytest - Test Coverage Measurement - Local Setup - Continuous Integration Challenge Faced: (5 minutes) - Large Codebase - Test Suite Execution Time - Slow Test Startup - Test Coverage Reporting Overhead Solution: (15 minutes) - Parallel Test Execution - Optimized Test Startup - Efficient Test Coverage Reporting Recap (2 minutes) Q&A (3 minutes) PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/LVRBQA/ 4F Track4 Jimmy Lai PUBLISH AQKFHX@@pretalx.com -AQKFHX Unlocking Python's Core Magic en en 20240928T111000 20240928T114000 003000 Unlocking Python's Core Magic This presentation briefly introduces a few of Python's fundamental concepts. The objective of this talk is not to extensively cover the details of these mechanisms but to demonstrate how these concepts can be applied to a real-world open-source project. The following concepts will be covered. 1. dunder method 2. `__getattr__` and PEP 562 3. decorators 4. `functool.partial` 5. Iterable Protocol PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/AQKFHX/ 4F Track4 Wei Lee PUBLISH UPCLRE@@pretalx.com -UPCLRE Sleuthing in Cython: Wrapping and Debugging Legacy C Libraries for Python en en 20240928T124000 20240928T131000 003000 Sleuthing in Cython: Wrapping and Debugging Legacy C Libraries for Python In Sleuthing in Cython, we'll go over the benefits and challenges of utilizing Cython as a way to utilize legacy C/C++ programs and libraries within Python applications. Cython's capabilities permit users to use Python-like syntax to integrate with existing C code and build their own library and program interfaces accessible from both C and Python. This talk will cover essential tools and workflows for building with Cython and what the interface looks like for integrating with legacy C code, and how to build and package a Cython extension with Poetry. However, utilizing the full powers of Cython is not without its own set of challenges. The presentation will also provide practical insights into common errors encountered during build and runtime phases while developing in Cython. Attendees will learn how to navigate these issues, using a detailed account of the specific obstacles faced when wrapping a legacy C library for Python via Cython. We will discuss different memory management and debugging tools, with a focus on Valgrind, and how to utilize these tools during development in Cython. PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/UPCLRE/ 4F Track4 Maryanne Wachter PUBLISH XNALUV@@pretalx.com -XNALUV Playing games in the browser with WASM en en 20240928T133000 20240928T140000 003000 Playing games in the browser with WASM Have you ever dreamt of turning your Python game creations using pygame into web sensations playable by anyone, anywhere? This talk dives deep into the exciting convergence of Pygame and WebAssembly, empowering you to bring your Python game development skills to the web! In talk, attendees will learn about the Pygame development, laying a strong foundation with its fundamental concepts. From the initial steps of game initialization and window creation to the intricate handling of graphics, animation, and sound effects, and the crucial aspect of user input for engaging gameplay, they'll gain comprehensive insights into the essence of game creation. Together, we will navigate the transformative journey from Pygame to the web through the innovative use of PygBag, that effortlessly converts Python game code into WebAssembly. This conversion enables the games to run smoothly within web browsers, bridging the gap between desktop development and web accessibility. By the conclusion of this talk, attendees will have a better understanding of Pygame's capabilities, the transformative potential of PygBag in combining Python with WebAssembly. PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/XNALUV/ 4F Track4 Neeraj Pandey Manoj Pandey PUBLISH PGNQEP@@pretalx.com -PGNQEP The Wheelhouse of Horrors en en 20240928T142000 20240928T145000 003000 The Wheelhouse of Horrors PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/PGNQEP/ 4F Track4 Laszlo Kiss Kollar PUBLISH Q77WJY@@pretalx.com -Q77WJY Why Knowing Cython Helps in Understanding Python: A Deep Dive into Cython & PVM en en 20240928T153000 20240928T160000 003000 Why Knowing Cython Helps in Understanding Python: A Deep Dive into Cython & PVM In this talk attendees will gain insights into the PVM's inner workings, Cython's role in enhancing performance, and practical tips for integrating Cython into their Python projects, especially for machine learning optimization. Agenda - How Python Works? - How Cython Works? Converting Python code to C Code (Generated by Cython) and compiling them separately (10mins) add Different cases of same function explaining the difference in cython. - How to integrate C Code into Python using Cython - Python Objects - Questions (5Mins) PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/Q77WJY/ 4F Track4 Abhik Sarkar PUBLISH LCHGZJ@@pretalx.com -LCHGZJ Getting Started with Open Source Contributions en en 20240928T162000 20240928T165000 003000 Getting Started with Open Source Contributions PUBLIC CONFIRMED Talk https://pretalx.com/pyconjp2024/talk/LCHGZJ/ 4F Track4 Stefanie Molin