BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.com//pyconjp2026//talk//78SNQ8
BEGIN:VTIMEZONE
TZID:Asia/Tokyo
BEGIN:STANDARD
DTSTART:20250821T000000
TZNAME:JST
TZOFFSETFROM:+0900
TZOFFSETTO:+0900
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
SUMMARY:vLLMを拡張してLLM内部に介入する機能を実装した
 話 - 河面 知定\, 門間 裕
DTSTART;TZID=Asia/Tokyo:20260821T170000
DTEND;TZID=Asia/Tokyo:20260821T173000
DTSTAMP:20260818T083928Z
UID:pretalx-pyconjp2026-78SNQ8@pretalx.com
DESCRIPTION:LLMは内部状態にベクトルを足し合わせること
 で、性格を付与したり、推論能力を高めるなど、振る
 舞いを操作することができます。私たちはこうしたベ
 クトル技術の研究開発を進める中で、Python製のLLM推論
 エンジンとして広く使われているvLLMの内部にダイブし
 、実装の拡張によって技術を組み込みました。\n\n本ト
 ークは、まず「LLM推論エンジンはそもそもどう作られ
 ているのか？」という素朴な疑問から始め、vLLM全体の
 アーキテクチャを概観します。次に、クラス構造につ
 いて、実コードを追いながら紐解き「どこに手を入れ
 れば内部の状態に介入できるか」を探っていきます。
 そして、LoRA実装を流用して実装したベクトル技術につ
 いて説明します。なぜLoRA実装の流用だけで済んだのか
 、vLLMの設計のどこに助けられた結果だったのか、設計
 判断を共有します。\n\n本トークは「LLMの内部状態に介
 入ができる」という個別ノウハウだけではなく「Python
 製OSSをハックしたくなったとき、どこから読み始め、
 どこに手を入れるべきか」という普遍的な学びを含み
 ます。
LOCATION:Phoenix Hall
URL:https://pretalx.com/pyconjp2026/talk/78SNQ8/
END:VEVENT
END:VCALENDAR