vLLMを拡張してLLM内部に介入する機能を実装した話
LLMは内部状態にベクトルを足し合わせることで、性格を付与したり、推論能力を高めるなど、振る舞いを操作することができます。私たちはこうしたベクトル技術の研究開発を進める中で、Python製のLLM推論エンジンとして広く使われているvLLMの内部にダイブし、実装の拡張によって技術を組み込みました。
本トークは、まず「LLM推論エンジンはそもそもどう作られているのか？」という素朴な疑問から始め、vLLM全体のアーキテクチャを概観します。次に、クラス構造について、実コードを追いながら紐解き「どこに手を入れれば内部の状態に介入できるか」を探っていきます。そして、LoRA実装を流用して実装したベクトル技術について説明します。なぜLoRA実装の流用だけで済んだのか、vLLMの設計のどこに助けられた結果だったのか、設計判断を共有します。
本トークは「LLMの内部状態に介入ができる」という個別ノウハウだけではなく「Python製OSSをハックしたくなったとき、どこから読み始め、どこに手を入れるべきか」という普遍的な学びを含みます。
このトピックに関するあなた自身の経験を教えてください
業務としてLLMの研究開発を4年ほど担当しており、当初は手元のローカルLLMで検証を進めていましたが、複数人で同時に使える環境が必要になり、vLLMを導入することにしました。「内部状態にベクトルを注入する」要件について、vLLMは標準でサポートしていなかったため、内部実装を読み進めて独自のベクトル技術を適用し、社内メンバー向けに公開・運用を行っています。
この発表を通じて、参加者とどんな議論が可能ですか？
・LLM推論エンジンの構造はどのように設計されているか？
・Python製OSSをハックしたい時、どこから読み始め、どう介入するべきか？
株式会社NTTドコモ / Software Engineer
入社以来R&Dに所属し新規事業0→1やデジタルプロダクト開発に従事。航空スタートアップ等複数社でテクニカルアドバイザー。LLMエンジニア向けコミュニティ「ソフトウェアエンジニアとデータサイエンティストがLLMエンジニアになる会」を主催。
株式会社NTTドコモ / インフラエンジニア
NTTドコモに入社後、IMS/VoLTEの相互接続をはじめ、SMS、PSTNマイグレ等の網間接続案件を中心に方式設計や一部標準化の対応。その後、R&D部門にてLLMを中心とするAI技術の調査・検証の業務を経由して、現在は改めてIMSの検討に従事。