#並列処理

最初に思ったのは、これはわりと当たり前のことを、ちゃんと実務の形に落とし込んだ話だな、ということでした。AIを1回ずつ順番に使うと、待ち時間も文脈の肥大化も避けにくい。人間の作業でも、調べもの、実装、テスト、レビューを同じ人が全部抱えると遅くなるのと同じで、AIにも役割分担をさせたほうが自然です。 面白いのは、この記事が「すごい裏技」というより、「Claude Codeをちゃんとチームっぽく扱え」という発想を押し出しているところです。サブエージェントという言い方をしているけれど、要するに小さな専門家を複数走らせる感じで、これはかなり腑に落ちました。コンテキストウィンドウ、つまりAIが一度に覚えていられる範囲が広がるほど雑になる、という感覚は使っていると身に覚えがあります。長いやり取りのあとに急に浅くなること、ありますよね。 一方で、そこまで万能でもないのも正直だと思いました。トークンコストが増える、独立した作業にしか向かない、という線引きがちゃんと書かれているのがよかったです。ここを曖昧にすると「なんでも並列化すれば速い」と勘違いしがちですが、実際はむしろ逆で、依存関係がある仕事まで分

Moondreamのブログ「Popping the GPU Bubble」は、AI推論を速くする話です。 ただし、単に「GPUを強く使えば速くなる」という雑な話ではありません。むしろ逆で、GPUがサボってしまう“すき間時間”をどう消すかに真正面から向き合っています。ここが面白い。 AIの推論では、GPUが大量の計算をして次のトークン（ざっくり言うと、文章のかたまり）を出します。ところが実際には、GPUが計算している時間よりも、CPUが「次は何をやるか」を準備している時間のせいで、GPUが待たされることがあります。これが記事のいう GPU bubble です。風船みたいに膨らんだ無駄な待ち時間、という比喩ですね。 Moondreamはこの待ち時間を、pipelined decoding という方法で減らしています。要するに、 「前のトークンの後片付けをCPUがしているあいだに、GPUは次のトークンの計算をもう始める」 という並行処理です。これだけ聞くと当たり前に見えますが、実際に安全にやるのがかなり難しい。そこでこの記事では、その工夫をかなり丁寧に説明しています。