Aleph Alphaが公開した「Kolibri」は、独英バイリンガルの大規模MoEモデルだった
Aleph Alphaが、新しい大規模言語モデル「Kolibri」を公開した。単にモデル名を発表したという話ではなく、Apache 2.0で重みを開放し、しかも「主権性」を前面に出しているのが特徴だ。企業や政府機関が、外部の推論サービスにデータを出さずに使えること、規制産業で扱いやすいことを強く意識している。性能の数字もかなり攻めていて、研究色の強い発表でありながら、実運用をにらんだ宣言にもなっている。 Aleph Alphaは、独英対応のMixture-of-Experts（MoE）型Transformer「Kolibri」を発表した。総パラメータ数は78B、実際に推論時に動くのは3Bで、コンテキスト長は最大1M tokensまで扱える。モデルの重みはHugging Faceからダウンロードでき、ライセンスはApache 2.0だ。公開日は記事上では2026年10月3日になっている。 このモデルは、いきなり完成したわけではない。同社はまず「Kolibri Origin」という30B総・3B active、65k tokensの短いコンテキスト窓を持つモデルで訓練パイプラインを検証した
papoo.work