#vllm

Google Cloud TPUでGemma 4を動かす。言葉にするとシンプルですが、実際はぜんぜんシンプルじゃないんですよね。空いているゾーンを探し、quotaを確認し、VMを立て、boot diskを気にし、Hugging Faceのtokenを渡し、vLLMのTPU向け設定を入れ、起動ログを追い、最後は忘れず片づける。しかも、TPUは放置すると課金がじわじわ進む。やることが多すぎる。 今回の記事は、その面倒を Claude Code に丸投げしやすくするための skill と MCP server を紹介しています。名前は `tpu-management`。かなり直球です。Cloud TPUを触ったことがある人ほど、「ああ、そこを自動化したいのは分かる」とうなずく内容だと思います。 TPUの空きを探して、使えそうな zone を見つける TPU VM を作成して、Gemma 4 を vLLM で起動する 起動後の状態確認やログ確認までやる `vllm bench serve` で速度を測る 使い終わったら削除する これらを Claude Code から自然文で指示できる

vLLM Semantic Router は、1回のモデル呼び出しの裏で複数モデルを協調させる「micro-agent runtime」を目指している ユーザーから見ると API はたった1つでも、裏では confidence / ratings / ReMoM / fusion / workflows などの実行方式を切り替えられる 重要なのは「全部を巨大なモデル1発に任せる」ことではなく、仕事の形に合ったループを選ぶこと ベンチマークでも、単一モデルの置き換えではなく「コラボレーションで性能を作る」発想が効いている 個人的には、これはかなり面白い方向だと思う。モデルそのものを巨大化する競争だけでなく、サービング層が頭を使う時代に入ってきた感じがある vLLM の記事「Micro-Agent: Beat Frontier Models with Collaboration inside Model API」は、ひとことで言うと「モデルを返すだけのサーバー」から「モデルの力を組み立てるサーバー」へ、という話だ。 普通、APIで `model` を指定したら、そのモデルが1回答えて終わり

tiny-vllm は、C++とCUDAでLLM inference engineを自作するための学習用プロジェクト ただのコード集ではなく、実装を通して学ぶコースとしても設計されている 対象は Llama 3.2 1B Instruct のような実際のモデルで、Safetensorsから読み込んで動かす prefill / decode、KV cache、continuous batching、PagedAttention など、実運用で重要な仕組みをひと通り扱う 「AIは魔法ではなく、大量の計算と工夫の積み重ね」という視点がはっきりしていて、学びの入口としてかなり良いと思う GitHubで公開されている tiny-vllm は、ひとことで言うと「vLLMの小型版を、自分の手で実装して学ぼう」というプロジェクトです。 vLLMといえば、LLMを速く・効率よく動かすための有名な推論エンジンです。 ここでいう inference engine は、学習済みのLLMを読み込み、ユーザーの質問に対してテキストを生成するための実行基盤のこ