#推論基盤

Cerebrasが、自社の wafer-scale chip 上で超巨大なAIモデルをどう動かしているのかを説明した記事を公開した。焦点は、1枚のチップに収まりきらない trillion-parameter 級モデルを、どう分割し、どうつなぎ、どう多数のリクエストをさばくかだ。単なる技術自慢ではなく、推論基盤としてどこにボトルネックがあるのかをかなり具体的に見せている。大規模モデルの「重みをどう置くか」が、そのまま性能の話になる局面が見えてくる。 元記事はまず、CerebrasのWSE-3T wafer 1枚には 44 GB の on-chip memory がある一方で、trillion-parameter frontier model は重みだけでも terabytes 級の容量を要すると説明する。そこで例として挙げるのが、オープンソースの Kimi K3 だ。約 3 trillion parameters を持ち、69の linear-attention layers と24の dense layers で構成される。記事では、このモデルを使って、実際にどう multiple W

DeepSeek のモデルを動かすための推論フレームワーク「DeepInfer」が、GitHub で公開された。単なるサンプルコードではなく、DeepSeek が大規模な本番サービスで使ってきた仕組みを、オープンソースとして出した形だ。生成AIの話題は派手なモデル発表に目が行きがちだが、実際に大量のリクエストをさばく現場では、推論基盤の出来がそのまま体験を左右する。今回の公開は、その裏側をかなり具体的に見せた点で面白い。 DeepInfer は、DeepSeek の大規模な本番サービスを支えてきた高性能な推論フレームワークだと説明されている。今回の公開版は、少なくともこのリリース時点では「offline inference」に焦点を当てており、スケールした提供に必要な核心部分を含む一方で、完全な推論サービスそのものではないと明記されている。対応モデルとして挙げられているのは DeepSeek-V4.1-Flash で、README には対応ハードウェアとして NVIDIA SM100 GPU と Huawei Ascend 950 NPU が並ぶ。 機能面では、まず最適化された ker

大規模言語モデルの性能は、モデルの中身だけでは決まらない。実際には、学習したモデルをどう動かすか、つまり推論基盤の出来が応答速度やコスト、安定性を左右する。今回の元記事は、GLMを手がけるチームが、その推論インフラを自分たちで組み上げていった経緯をたどる内容だ。単なる技術自慢ではなく、なぜ外部の完成品に乗るだけでは足りなかったのか、そして自前化がどこまで効くのかを考える材料になる。 元記事が中心に描いているのは、GLMのチームがモデル開発だけでなく、そのモデルをユーザーに返すための推論インフラまで自分たちで作った、という話だ。推論インフラとは、学習済みモデルに入力を与え、応答を生成し、同時に多数のリクエストをさばくための仕組みを指す。ここが弱いと、モデルが賢くても返答は遅くなり、コストもかさむ。 記事では、最初から万能な仕組みがあったわけではなく、まず既存のやり方で運用を始めたことが示される。ただ、モデルが大きくなり、利用が増えるにつれて、一般的な推論環境では限界が見えてきた。GPUの使い方がうまくいかない、レイテンシが読みにくい、ピーク時にスケールさせるのが難しい、といった問題が積み