エージェントは「作る」より「育てる」が難しい — Pythonで回す評価・観測・改善ループ
AIエージェントはPoCレベルであれば比較的簡単に構築できますが、本番運用では「思った通りに動かない」「品質が安定しない」「どこが問題か分からない」といった課題に直面します。本セッションでは、エージェント開発の本質的な難しさは「作ること」ではなく、「評価・観測・改善を継続的に回すこと」にあるという観点から、Pythonを軸にした実践的な運用アプローチを紹介します。
具体的には、ログ収集や分散トレーシングによる挙動の可視化、ツール呼び出し精度や応答品質の評価方法、失敗パターンの分析と改善ループの構築などを扱います。LLMの出力を「ブラックボックス」として扱うのではなく、「観測可能なシステム」として設計するための考え方を、実務での知見を交えて解説します。
実装においては、PythonのloggingやOpenTelemetryベースのトレーシングに加え、LangSmithなどを用いた実行トレースの収集・可視化や、DeepEvalによる評価の自動化など、具体的なパターンも紹介します。参加者が自身のプロジェクトでも再現可能な形で、「エージェントを育てる」ための実践知を持ち帰れるセッションを目指します。
このトピックに関するあなた自身の経験を教えてください
MicrosoftにてAzure AIのSEとして、日本のエンタープライズ企業向けにAIエージェント導入の技術支援を行っています。複数のプロジェクトで、PoCから本番運用への移行に関わり、特に評価・観測・改善の仕組みが整っていないことでエージェントの品質が安定しないケースを多数経験してきました。
その中で、ログ・トレーシング・評価指標を組み合わせてエージェントの振る舞いを可視化し、改善サイクルを回すアプローチを確立しました。また、PyCon APAC 2025、PyCon TW 2025、PythonAsia 2026で登壇し、多様なバックグラウンドを持つ参加者に向けた分かりやすい技術共有の経験があります。
この発表を通じて、参加者とどんな議論が可能ですか？
本発表では、「何をもってAIエージェントの品質とするのか」という問いに加え、それをどのように継続的に検証・改善していくかという評価ループの設計について議論したいと考えています。正解が一意に決まらない問題に対して、どのように評価軸を設計し、観測データをどのようにデータセット化し、どこまで自動化するのか、またどの段階でHuman-in-the-loopを入れるべきかは、現場ごとに異なる重要なテーマです。
さらに、「LLMの限界」と「システム設計の問題」をどのように切り分けるか、ツール呼び出しの失敗や不安定な挙動をどのようにトレース・評価し、改善に繋げるかについても、参加者の経験を共有しながら議論を深めたいと考えています。
日本マイクロソフトではAzure AIのSEとして、Pythonを主要な技術領域の一つとしてAIアプリケーション開発から運用設計まで幅広く活用しています。最近は特にエンタープライズ企業向けのAIエージェントの実装支援および技術提案を行っています。