Yu Saito
日本マイクロソフトではAzure AIのSEとして、Pythonを主要な技術領域の一つとしてAIアプリケーション開発から運用設計まで幅広く活用しています。最近は特にエンタープライズ企業向けのAIエージェントの実装支援および技術提案を行っています。
Session
08-21
15:30
30min
エージェントは「作る」より「育てる」が難しい — Pythonで回す評価・観測・改善ループ
Yu Saito
AIエージェントはPoCレベルであれば比較的簡単に構築できますが、本番運用では「思った通りに動かない」「品質が安定しない」「どこが問題か分からない」といった課題に直面します。本セッションでは、エージェント開発の本質的な難しさは「作ること」ではなく、「評価・観測・改善を継続的に回すこと」にあるという観点から、Pythonを軸にした実践的な運用アプローチを紹介します。
具体的には、ログ収集や分散トレーシングによる挙動の可視化、ツール呼び出し精度や応答品質の評価方法、失敗パターンの分析と改善ループの構築などを扱います。LLMの出力を「ブラックボックス」として扱うのではなく、「観測可能なシステム」として設計するための考え方を、実務での知見を交えて解説します。
実装においては、PythonのloggingやOpenTelemetryベースのトレーシングに加え、LangSmithなどを用いた実行トレースの収集・可視化や、DeepEvalによる評価の自動化など、具体的なパターンも紹介します。参加者が自身のプロジェクトでも再現可能な形で、「エージェントを育てる」ための実践知を持ち帰れるセッションを目指します。
Dahlia 1