#vllm

tiny-vllm は、C++とCUDAでLLM inference engineを自作するための学習用プロジェクト ただのコード集ではなく、実装を通して学ぶコースとしても設計されている 対象は Llama 3.2 1B Instruct のような実際のモデルで、Safetensorsから読み込んで動かす prefill / decode、KV cache、continuous batching、PagedAttention など、実運用で重要な仕組みをひと通り扱う 「AIは魔法ではなく、大量の計算と工夫の積み重ね」という視点がはっきりしていて、学びの入口としてかなり良いと思う GitHubで公開されている tiny-vllm は、ひとことで言うと「vLLMの小型版を、自分の手で実装して学ぼう」というプロジェクトです。 vLLMといえば、LLMを速く・効率よく動かすための有名な推論エンジンです。 ここでいう inference engine は、学習済みのLLMを読み込み、ユーザーの質問に対してテキストを生成するための実行基盤のこ