#npu

AppleのNeural Engineを、いまさらM1世代までさかのぼって逆解析し直した、というのが今回の話です。しかも目的は「使えるようにする」ことではなく、内部構造そのものをできるだけ正確に地図化することにあります。作者は、Appleが最初にA11 BionicでNPU的なものをシリコンに焼き込んだころから、どんな前提で機械学習向けハードを設計していたのかを読み解こうとしています。背景にあるのは、CNN中心だった時代のNPUと、いまGPUで回っている transformer 系ワークロードのズレです。 元記事では、作者が3年前に止めていたApple Neural Engine（ANE）の逆解析を、M1を対象にやり直しています。理由は単純で、M5では「LLM performance」が売り文句になり、ANEのコアがGPU側に取り込まれたため、専用NPUの終わりが近いと感じたからです。そこで今回は、単に命令を動かす話ではなく、compute、datapath、scheduler、memory、execution model まで含めて、ANEの内部設計を追い直しています。 まずcomp