BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.com//pyconjp2026//talk//BUZXVG
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:20250821T000000
TZNAME:JST
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
SUMMARY:VLMで2.3万枚のPyCon JP写真を検索！無料クラウド枠
 で実用的なマルチモーダル＆顔認識検索システムを構
 築した裏側 - 寺田 学 (Manabu TERADA)
DTSTART;TZID=Asia/Tokyo:20260821T114500
DTEND;TZID=Asia/Tokyo:20260821T123000
DTSTAMP:20260818T083857Z
UID:pretalx-pyconjp2026-BUZXVG@pretalx.com
DESCRIPTION:最新のVLMやInsightFaceを活用したデータ処理から
 、Firebaseの無料枠に収めるために施した「独自のベクト
 ル枝刈りアルゴリズム」の工夫、Transformers.jsを活用し
 たエッジ（ブラウザ）側でのクエリ埋め込みなど、低
 コストで実用的なWebサービスの全アーキテクチャと工
 夫を、公開コードとともに紹介します。\n\n【背景と課
 題】\nPyCon JPには過去23\,000枚を超える写真がありますが
 、「パネルディスカッションの写真」などを探すのは
 困難でした。\nVLMを活用すれば実現可能ですが、コミュ
 ニティで運用するには「サーバー維持コスト」が大き
 な壁となります。\n\n【無料枠に収める技術的工夫】\n1.
  Pythonによる高速なデータ処理とPoC\nGoogle SigLIP 2（VLM）
 による画像ベクトル（23K件）と、InsightFace（ArcFace）に
 よる顔ベクトル（70K件）を抽出。DuckDBとJupyter Notebookを
 用いたPoC。\n\n2. 計算リソースのクライアントサイドへ
 の委譲とONNXによるモデル選定\nテキストクエリをベク
 トル化するためのEmbeddingモデルを、transformers.js を用い
 てユーザーのブラウザ側で実行。サーバーレス（無料
 枠）環境での計算リソース不足を解消。Python側での推
 論結果と、ブラウザ側（ONNX形式）に変換・実行した際
 の出力ベクトルが同一であることを検証しクロスプラ
 ットフォームで検索精度を担保できるモデルを採用。\n
 \n3. 独自実装によるベクトル検索のコスト削減\nFirestore
 のベクトル検索機能は高コストです。これを回避する
 ため、Python側でデータをクラスタリング（IVF的な考え
 方）し、独自に実装したインデックスを用いてFirestore
 側で対象データを約8%まで事前枝刈りしてからkNN検索。
LOCATION:Dahlia 1
URL:https://pretalx.com/pyconjp2026/talk/BUZXVG/
END:VEVENT
END:VCALENDAR