BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.com//pyconjp2026//speaker//JVWAPK
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:20250821T000000
TZNAME:JST
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
SUMMARY:エージェントは「作る」より「育てる」が難しい
  — Pythonで回す評価・観測・改善ループ - Yu Saito
DTSTART;TZID=Asia/Tokyo:20260821T153000
DTEND;TZID=Asia/Tokyo:20260821T160000
DTSTAMP:20260818T075621Z
UID:pretalx-pyconjp2026-EZKBTG@pretalx.com
DESCRIPTION:AIエージェントはPoCレベルであれば比較的簡単
 に構築できますが、本番運用では「思った通りに動か
 ない」「品質が安定しない」「どこが問題か分からな
 い」といった課題に直面します。本セッションでは、
 エージェント開発の本質的な難しさは「作ること」で
 はなく、「評価・観測・改善を継続的に回すこと」に
 あるという観点から、Pythonを軸にした実践的な運用ア
 プローチを紹介します。\n具体的には、ログ収集や分散
 トレーシングによる挙動の可視化、ツール呼び出し精
 度や応答品質の評価方法、失敗パターンの分析と改善
 ループの構築などを扱います。LLMの出力を「ブラック
 ボックス」として扱うのではなく、「観測可能なシス
 テム」として設計するための考え方を、実務での知見
 を交えて解説します。\n実装においては、Pythonのlogging
 やOpenTelemetryベースのトレーシングに加え、LangSmithなど
 を用いた実行トレースの収集・可視化や、DeepEvalによる
 評価の自動化など、具体的なパターンも紹介します。
 参加者が自身のプロジェクトでも再現可能な形で、「
 エージェントを育てる」ための実践知を持ち帰れるセ
 ッションを目指します。
LOCATION:Dahlia 1
URL:https://pretalx.com/pyconjp2026/talk/EZKBTG/
END:VEVENT
END:VCALENDAR