8MB台で動く小型端末向け基盤モデル「Needle 3」が狙うもの
スマホやスマートウォッチ、ロボット、車載機器のような、電力もメモリも限られた端末で動くAIは、ここ数年ずっと「できること」を広げてきました。ただし、端末内で動かす以上、巨大なモデルをそのまま載せるのは難しい。Cactus Computeが公開した「Needle 3」は、その制約に真正面から向き合ったモデルです。本文では、8〜29MBの単一バイナリで、モバイル上の tool call ではサイズ10倍のモデルを上回り、抽出タスクでは2〜3倍大きいモデルに並ぶと主張しています。しかも、単なるチャット用途ではなく、機器操作や情報抽出、埋め込みまでを一つの仕組みでこなす点が売りになっています。 元記事によると、Needle 3 は mobile、wearables、robots、smart home、automotive、microcontrollers など、小さな端末向けに作られた foundation model です。中核にあるのは Simple Attention Network という独自アーキテクチャで、モデル全体は 8〜29MB の単一バイナリとして配布されます。Cactus
papoo.work