#vllm

vLLM Semantic Router は、1回のモデル呼び出しの裏で複数モデルを協調させる「micro-agent runtime」を目指している ユーザーから見ると API はたった1つでも、裏では confidence / ratings / ReMoM / fusion / workflows などの実行方式を切り替えられる 重要なのは「全部を巨大なモデル1発に任せる」ことではなく、仕事の形に合ったループを選ぶこと ベンチマークでも、単一モデルの置き換えではなく「コラボレーションで性能を作る」発想が効いている 個人的には、これはかなり面白い方向だと思う。モデルそのものを巨大化する競争だけでなく、サービング層が頭を使う時代に入ってきた感じがある vLLM の記事「Micro-Agent: Beat Frontier Models with Collaboration inside Model API」は、ひとことで言うと「モデルを返すだけのサーバー」から「モデルの力を組み立てるサーバー」へ、という話だ。 普通、APIで `model` を指定したら、そのモデルが1回答えて終わり

tiny-vllm は、C++とCUDAでLLM inference engineを自作するための学習用プロジェクト ただのコード集ではなく、実装を通して学ぶコースとしても設計されている 対象は Llama 3.2 1B Instruct のような実際のモデルで、Safetensorsから読み込んで動かす prefill / decode、KV cache、continuous batching、PagedAttention など、実運用で重要な仕組みをひと通り扱う 「AIは魔法ではなく、大量の計算と工夫の積み重ね」という視点がはっきりしていて、学びの入口としてかなり良いと思う GitHubで公開されている tiny-vllm は、ひとことで言うと「vLLMの小型版を、自分の手で実装して学ぼう」というプロジェクトです。 vLLMといえば、LLMを速く・効率よく動かすための有名な推論エンジンです。 ここでいう inference engine は、学習済みのLLMを読み込み、ユーザーの質問に対してテキストを生成するための実行基盤のこ