BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.com//pyconjp2026//talk//3BUVJC
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:20250821T000000
TZNAME:JST
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
SUMMARY:LLMエージェントを"見える化"する ― OpenTelemetryか
 らPydantic AI × Logfire へ - Satoru Kadowaki
DTSTART;TZID=Asia/Tokyo:20260821T133000
DTEND;TZID=Asia/Tokyo:20260821T140000
DTSTAMP:20260818T083855Z
UID:pretalx-pyconjp2026-3BUVJC@pretalx.com
DESCRIPTION:LLMエージェントは確率的なブラックボックス
 です。\n動いて見えても、リトライが裏で何回起きてい
 るか、どのツール呼び出しでコストが膨らむか、失敗
 がなぜ再現しないかなど、実際に使用してみたり、運
 用してみたりすると途端に見えなくなりがちです。\n本
 トークが示すのは「型で守り、トレースで見る」とい
 う考え方です。LLM出力を境界で信用しない型安全（事
 前の防御）と、実行時に何が起きたかを明らかにする
 可観測性（事後の観測）は、ブラックボックスを信頼
 できるものにする両輪だと考え、その仕組みを示しま
 す。\n具体的には、自作のマルチエージェント・オーケ
 ストレーターを運用してこの壁にぶつかった経験をも
 とに、OpenTelemetryを背骨に据えた計測の作り方を紹介し
 ます。\n内部ではPydantic AIを使い、出力を型として定義
 し、その制約違反を自動でリトライします。この「型
 制約→失敗→再生成」のループをトレースし、LLM利用
 で増加しがちなコストを意識すれば、安価なモデルに
 も構造化出力を任せられるようになります。\n\nLLMエー
 ジェントでは、スキーマ準拠は安定しても意味的な制
 約は外しやすく、その分リトライが増え、リトライは
 そのままトークン課金に跳ね返ります。「安いモデル
 ＋検証リトライ」が本当に得かはリトライ率次第で、
 それはトレースを見て初めて判断できます。\n型・トレ
 ース・コストを一つの意思決定として捉え、自前ログ
 か、OpenTelemetryか、外部プラットフォームか、といった
 整理を、Pydanticチームが提供するLogfireと合わせて運用
 者目線でお話しします。\n本トークでは、「計測してお
 けば、モデルもツールも、勘ではなく実測したリトラ
 イ率やコストで選べるようになる」という考え方を持
 ち帰ってもらうことをゴールとしています。
LOCATION:Phoenix Hall
URL:https://pretalx.com/pyconjp2026/talk/3BUVJC/
END:VEVENT
END:VCALENDAR