#cpp

tiny-vllm は、C++とCUDAでLLM inference engineを自作するための学習用プロジェクト ただのコード集ではなく、実装を通して学ぶコースとしても設計されている 対象は Llama 3.2 1B Instruct のような実際のモデルで、Safetensorsから読み込んで動かす prefill / decode、KV cache、continuous batching、PagedAttention など、実運用で重要な仕組みをひと通り扱う 「AIは魔法ではなく、大量の計算と工夫の積み重ね」という視点がはっきりしていて、学びの入口としてかなり良いと思う GitHubで公開されている tiny-vllm は、ひとことで言うと「vLLMの小型版を、自分の手で実装して学ぼう」というプロジェクトです。 vLLMといえば、LLMを速く・効率よく動かすための有名な推論エンジンです。 ここでいう inference engine は、学習済みのLLMを読み込み、ユーザーの質問に対してテキストを生成するための実行基盤のこ

C/C++では、undefined behavior（未定義動作）が思った以上に多い それは「コンパイラの嫌がらせ」ではなく、言語仕様上、何が起きても文句を言えない状態のこと 未定義動作は、最適化の有無に関係なく危険になりうる アラインメント不一致、型変換、可変長引数、null pointer、ゼロ除算など、一見普通に見えるコードにも落とし穴がある 著者の主張はかなり強めだが、「Cは細部まで気をつけてもなお危ない」という警鐘としては非常に示唆的 今回紹介する記事は、タイトルからしてかなり挑発的です。 「Everything in C is undefined behavior」――直訳すれば「Cのすべては未定義動作だ」。もちろん厳密には言いすぎですが、著者はあえて極端な表現で、C/C++の怖さを読者に叩きつけています。 率直に言うと、これはかなり面白い記事です。 なぜなら、単に「Cは危ないよね」で終わらず、“どこがどう危ないのか” を、具体例を積み上げながら見せてくるからです。しかもその例が、いかにもありがちなものばかり。読んでい