#neuralengine

AppleのNeural Engineを、いまさらM1世代までさかのぼって逆解析し直した、というのが今回の話です。しかも目的は「使えるようにする」ことではなく、内部構造そのものをできるだけ正確に地図化することにあります。作者は、Appleが最初にA11 BionicでNPU的なものをシリコンに焼き込んだころから、どんな前提で機械学習向けハードを設計していたのかを読み解こうとしています。背景にあるのは、CNN中心だった時代のNPUと、いまGPUで回っている transformer 系ワークロードのズレです。 元記事では、作者が3年前に止めていたApple Neural Engine（ANE）の逆解析を、M1を対象にやり直しています。理由は単純で、M5では「LLM performance」が売り文句になり、ANEのコアがGPU側に取り込まれたため、専用NPUの終わりが近いと感じたからです。そこで今回は、単に命令を動かす話ではなく、compute、datapath、scheduler、memory、execution model まで含めて、ANEの内部設計を追い直しています。 まずcomp

Appleの「Neural Engine」、通称ANEは、iPhoneやMacの中で静かに働く専用チップです。顔認識、写真の補正、音声処理、生成AIの一部まで、裏側でかなり多くの仕事を抱えています。ふだんはCore MLというApple公式の仕組み越しにしか使えないので、一般の開発者から見ると「中はブラックボックス」の代表格でした。 今回のarXiv論文は、そのブラックボックスをかなり本気で分解したものです。しかも単なる憶測ではなく、Apple silicon上での直接計測と、private runtime、compiler、kernel driver、firmwareの静的解析を組み合わせている。こういう研究は地味に見えて、実はとても面白いです。Appleが“使わせるつもりのない層”にまで手を伸ばして、仕組みを記述しているわけですから。 この論文は、Apple Neural Engineのアーキテクチャ、プログラミング方法、性能の限界をまとめた「リバースエンジニアリングのガイド」です。対象はA11世代のiPhone/iPadチップからA18、そしてM1からM5まで。かなり広い。 特に