#小型モデル

まず思ったのは、「小型モデル」の伸び方がもう“おまけ”の域ではない、ということだった。性能を上げながらコストを4分の1に落とす、しかもコンピュータ操作や定型処理にかなり向く、となると、これは単に安いモデルが出たという話ではない。AIをどこに割り当てるか、運用の設計そのものが変わりそうだと思った。 特に気になったのは、Haiku 5.5が「上位モデルの下で動くサブエージェント」に向くと明言されている点だ。ここが面白い。大きくて賢いモデルが全部を抱えるのではなく、重い判断は上位モデル、手数の多い作業は軽いモデル、という役割分担がかなり現実味を帯びてきた。人間の組織で言えば、全部をエースがやるのでなく、手足の動きは別の人に任せる感じに近い。AIの世界でも、ようやく“チーム戦”が当たり前になってきたのかもしれない。 一方で、安心して見ていられる記事でもなかった。サイバー対策やプロンプトインジェクション耐性を強めた一方で、ハルシネーションや不適切応答の話も残っている。しかもAPIでは開発者側が独自対策を求められる。ここはきれいな進化物語にしきれないところで、性能が上がったからそのまま全部任せてよ

スマホやスマートウォッチ、ロボット、車載機器のような、電力もメモリも限られた端末で動くAIは、ここ数年ずっと「できること」を広げてきました。ただし、端末内で動かす以上、巨大なモデルをそのまま載せるのは難しい。Cactus Computeが公開した「Needle 3」は、その制約に真正面から向き合ったモデルです。本文では、8〜29MBの単一バイナリで、モバイル上の tool call ではサイズ10倍のモデルを上回り、抽出タスクでは2〜3倍大きいモデルに並ぶと主張しています。しかも、単なるチャット用途ではなく、機器操作や情報抽出、埋め込みまでを一つの仕組みでこなす点が売りになっています。 元記事によると、Needle 3 は mobile、wearables、robots、smart home、automotive、microcontrollers など、小さな端末向けに作られた foundation model です。中核にあるのは Simple Attention Network という独自アーキテクチャで、モデル全体は 8〜29MB の単一バイナリとして配布されます。Cactus