#cuda

「GPUで計算する」と聞くと、なんだか一瞬で魔法みたいに処理が終わる印象があります。 でも元記事は、その裏側にある泥臭い手順を、かなり執念深く追いかけています。しかも題材は、たった1行のベクター加算。`a[i] + b[i]` を並列に足すだけの、いちばん地味なCUDAプログラムです。地味だからこそ面白い。GPUという巨大な装置が、どれだけの段取りを踏んでこの1行を実行しているのかが、くっきり見えてきます。 `nvcc` は1つのコンパイラではなく、複数のコンパイラをまとめて動かす“司令塔”です CUDAのコードは、まずPTXという中間表現になり、その後SASSというGPU実機向け命令に変わります `vadd<<<4096, 256>>>(...)` のような記法は、ホスト側で引数を詰める「stub」に置き換えられます GPUカーネルの引数は、constant bank 0 に載って読み出されます 実行時には、CPU側のランタイム、`libcuda.so`、ドライバ、PCIe越しのGPUが連携して動きます ただ“GPUに投げた”だけに見える処理の背後で、かなり多くの機械的な準備が走って

tiny-vllm は、C++とCUDAでLLM inference engineを自作するための学習用プロジェクト ただのコード集ではなく、実装を通して学ぶコースとしても設計されている 対象は Llama 3.2 1B Instruct のような実際のモデルで、Safetensorsから読み込んで動かす prefill / decode、KV cache、continuous batching、PagedAttention など、実運用で重要な仕組みをひと通り扱う 「AIは魔法ではなく、大量の計算と工夫の積み重ね」という視点がはっきりしていて、学びの入口としてかなり良いと思う GitHubで公開されている tiny-vllm は、ひとことで言うと「vLLMの小型版を、自分の手で実装して学ぼう」というプロジェクトです。 vLLMといえば、LLMを速く・効率よく動かすための有名な推論エンジンです。 ここでいう inference engine は、学習済みのLLMを読み込み、ユーザーの質問に対してテキストを生成するための実行基盤のこ

CUDAを学びたいと思ったとき、まず困るのが「で、どの本を読めばいいの？」問題です。 このGitHubリポジトリ awesome-cuda-books は、その悩みにかなり真っ向から答えてくれる「CUDA本のおすすめ一覧」です。 GPUプログラミングは、普通のC++やPythonとは少し勝手が違います。 CPUが「順番にコツコツ処理する」のが得意なのに対して、GPUは「同時にたくさん処理する」のが得意。 この違いをうまく使えると、画像処理、科学計算、機械学習の一部などで大きな高速化が狙えます。 ただし、学び方を間違えると「用語が多すぎて何が何だか…」となりがち。そこを本リストが助けてくれます。 CUDA学習向けの本を、初心者〜上級者まで段階別に整理している C++中心の本だけでなく、Python向けのCUDA本も載っている 「理論」だけでなく、実践・最適化・デバッグ寄りの本もある 2022〜2026年の比較的新しい本も拾っていて、古い情報だけに偏っていない ただし、CUDAは変化が速いので、本だけで完結しないのが重要 公式のCUDA C++ Programming Gu