#大規模言語モデル

いちばん強く思ったのは、「小さいモデル」がやっと本当に実務の土俵に上がってきたんだな、ということです。しかも単に安いだけじゃなくて、summarization や subagent、browser use みたいな“数を回す仕事”にかなり寄せているのがはっきりしています。ここは地味ですが、実際の現場ではかなり効くはずです。 面白いのは、Anthropic がこのモデルを「賢い小型版」として売っているというより、「高頻度で使う役割を任せる部品」として位置づけているところです。大きいモデルが最終判断をして、Haiku が下調べや切り出し、雑務をさばく。記事に出てくる subagent の使い方はまさにその発想で、AI を1体の万能選手として扱うより、チームに分ける方向がかなり現実的だと感じました。 一方で、ベンチマークの見せ方には少し身構えました。グラフを見ると確かに速くて安い、しかもいくつかの評価ではかなり良い数字が出ています。でもこういう記事は、結局「どの仕事なら十分で、どこから上位モデルに渡すべきか」を読む側が自分で見極めないといけません。Anthropic 自身も Terminal

Reflectionが発表したのは、同社初のopen-weight modelである「Beam」だ。open-weightは、モデルの重みを公開して外部利用しやすくする形で、いわば“中身を触れるAI”に近い。今回の発表が目を引くのは、単に大きいモデルだからではない。コード生成、reasoning、agentic workloadsに強いとされるうえ、学習にRLをかなり大規模に使っている点が、今の大規模モデル競争のど真ん中にあるからだ。 Beamは、能力だけでなく効率でも勝負しようとしている。そう読める発表だった。 Reflectionによると、Beamは5010億の総パラメータを持つsparse Mixture-of-Expertsモデルで、実際に1トークンあたり動くのは230億パラメータだという。用途として前面に出しているのは、coding、reasoning、agentic workloadsの3つ。要するに、文章をそれっぽく返すだけではなく、コードを書き、段取りを立て、外部ツールを使いながら作業を進めるタイプの仕事を狙っている。 学習ではまず、webとlicensed datas

いちばん引っかかったのは、「速い」「安い」というだけでなく、Anthropicがちゃんとモデルの役割分担を整理してきたことです。以前から上位モデルは万能っぽく見えがちでしたが、この記事だと Sonnet は「日常的なタスク向け」、Opus は「慎重な判断が要る複雑な作業向け」と、かなりはっきり線を引いている。ここが気持ちよくもあり、少し現実的でもあると思いました。AI を“なんでも屋”として売るより、用途を切って最適化するほうが、実際には使う側も選びやすいです。 それと、コストの話が思った以上に実務寄りでした。1トークンあたりの価格は据え置きでも、必要なトークン数が減ったのでタスク単位では安くなる、という見せ方は、かなり本音に近いと思います。こういう話はベンチマークの点数より地味ですが、現場ではむしろ効く。APIを叩く側からすると、モデルの“賢さ”より先に請求書が現実に来るので、30％という数字は軽く見えません。 一方で、サイバーセキュリティ関連だけは Opus 5.5 にフォールバックする、という設計には少し安心しました。性能を上げたらそのまま全部任せる、ではなく、危ない用途は別扱い

Aleph Alphaが、新しい大規模言語モデル「Kolibri」を公開した。単にモデル名を発表したという話ではなく、Apache 2.0で重みを開放し、しかも「主権性」を前面に出しているのが特徴だ。企業や政府機関が、外部の推論サービスにデータを出さずに使えること、規制産業で扱いやすいことを強く意識している。性能の数字もかなり攻めていて、研究色の強い発表でありながら、実運用をにらんだ宣言にもなっている。 Aleph Alphaは、独英対応のMixture-of-Experts（MoE）型Transformer「Kolibri」を発表した。総パラメータ数は78B、実際に推論時に動くのは3Bで、コンテキスト長は最大1M tokensまで扱える。モデルの重みはHugging Faceからダウンロードでき、ライセンスはApache 2.0だ。公開日は記事上では2026年10月3日になっている。 このモデルは、いきなり完成したわけではない。同社はまず「Kolibri Origin」という30B総・3B active、65k tokensの短いコンテキスト窓を持つモデルで訓練パイプラインを検証した

記事を読んでまず思ったのは、これ、かなり筋が悪くなりやすい話をあえて真正面からやろうとしているな、ということだった。AIの安全性を第三者に見せるのは理屈としては分かる。でも実際に「社内に入って、訓練の様子まで見て、社員とも話す」レベルまで踏み込むとなると、企業にとっては相当な腹の決め方がいるはずだ。 特に引っかかったのは、Accentureのような巨大なコンサルが入ることの意味だ。監査っぽさは出るけれど、同時に“制度を作る側”と“制度を売る側”がかなり近い場所に立つことにもなる。安全性の担保としては期待できそうだが、どこまで本当に独立した目線でいられるのかは気になる。第三者評価って、名前だけならきれいだけど、実態はアクセス権の深さでだいぶ変わる。 もう一つ面白かったのは、Anthropicがこれを単発の提携としてではなく、AI開発のスピードを落とすための第一歩みたいに位置づけている点だ。普通なら「安全を強化します」で終わりそうなのに、あえて“開発を遅くする”と言うのは、かなり珍しい。安全性と競争速度は両立しにくい、という感覚を会社自身が認めているようにも見えた。そこは正直、誠実さを感じ

中国のAI企業DeepSeekが、新しいモデル「DeepSeek-V4.1-Flash」を発表した。単なる新製品の告知ではなく、計算資源の使い方をかなり詰め直したモデルだと自ら説明しているのが今回の焦点だ。画像も扱えるうえ、推論は速く、スループットも高く、しかもより大きなモデルへつなげやすい設計だという。API料金の見直しや、古いモデルの整理まで含めて打ち出しているので、実際の利用者にはかなり実務的な影響がある。 DeepSeekはX上で「DeepSeek-V4.1-Flash」を公開し、その特徴を段階的に説明した。最初の投稿では、これは新しいアーキテクチャファミリーの中で最小のモデルであり、native visual understanding、つまり画像をモデル内部で自然に扱える能力を備えると紹介している。さらに、より高い能力、より速いinference、より高いthroughput、そしてより大きなモデルへのスケーリングを意識して設計したと述べた。 続く投稿では、設計の狙いを「Asymmetric architecture. More intelligence, less cos

Tencentが自社の大規模言語モデル「Tencent Hy4 preview」を公開し、同時にオープンソース化した。単に新しいAIモデルを出したという話ではなく、770Bという巨大な総パラメータ数、49Bのアクティブパラメータ、100万トークン超の長い文脈処理を前面に押し出しているのが特徴だ。しかも用途は研究室のデモではなく、coding、office work、scientific researchのような実務寄りの場面に置かれている。Tencentがこのモデルをどう位置づけ、どこで使わせようとしているのかを見ると、いまの生成AI競争の焦点がかなりはっきりしてくる。 Tencentの発表によると、Hy4 previewは次世代のlarge language modelで、総パラメータ数は770B、実際に推論時に動くactive parametersは49B、context windowは100万トークンを超える。要するに、モデル全体としてはかなり大きいが、常時全部を動かすわけではなく、必要な部分だけを使って計算効率を確保する設計だと読める。Tencentはこのモデルを、実際の生産性

まず引っかかったのは、「V4」と聞いて想像する重さのわりに、記事全体の空気がかなり実務寄りだったことです。新モデルの発表というより、すぐ試して、すぐ置き換えて、という導線が強い。`base_url` はそのままで model 名だけ変えればよく、OpenAI ChatCompletions や Anthropic APIs にも対応している。こういう「既存のつなぎ先を壊さない」設計は、使う側にとってかなり大きいと思う。 それ以上に印象に残ったのは、1M context が標準になったという一文です。長い文書やログ、コードベースを丸ごと扱う時代を、もう「特別な機能」ではなく前提にしようとしている感じがある。1M context は単に長いだけではなく、検索や分割の手間を減らす方向に効くので、RAG の設計そのものを少し変えてしまうかもしれない。ただ、長ければ何でも良いわけではなく、実際にどこまで安定して扱えるのか、そしてそのコストが本当に軽いのかは、触ってみないと分からないとも思った。 もう一つ、この記事はモデル性能の自慢以上に「agent向け」をかなり強く押しているのが面白いです。Ag

この記事を読んでまず思ったのは、モデルに「いつまで知っているか」を聞くだけで、ずいぶん深いところまで覗けるものだな、という驚きだった。知識の古さを当てるだけなら地味にも見えるけれど、著者はそこから training run の境目や、どの世代のチャットが混ざっていそうかまで読もうとしている。こういう発想はかなり好きだ。モデルをブラックボックスとして眺めるのではなく、返答の癖を手がかりにして、逆向きに訓練過程を推理していく感じがある。 特に面白かったのは、単純な「知っている／知らない」ではなく、日付の自認や「自分は誰か」という自己申告まで材料にしているところだ。大規模言語モデルは、実際の知識だけでなく、訓練データに何度出てきたかにも引っ張られる。だから「今日は何日？」と聞いたときに、実際の知識とずれるだけでなく、古い時代にいるつもりで答えることがある。そこに、過去の ChatGPT や Claude の会話が混ざっていそうだ、という読みを重ねるのはかなり筋が通っていると思う。 ただ、読んでいて少し引っかかったのは、ここで出てくる推定がどこまで本当に訓練データの時期を表しているのか、やっぱ

大規模言語モデルの世界は、ここ数年ずっと「でかいモデルが強い」の一強でした。GPT-4のような商用LLMは性能が抜群ですが、中身は見えません。APIの向こう側にいて、内部状態や学習の細部には触れられない。研究する側からすると、これはかなりもどかしい。 この論文 `Knowledge Distillation of Black-Box Large Language Models` は、その厄介な壁をどう越えるかを真正面から扱っています。しかもアイデアがわりと気持ちいい。黒箱LLMの出力を、そのまま小型モデルに押し込もうとするのではなく、proxy model という“仲介役”を挟むのです。 知識蒸留（knowledge distillation, KD）は、強いモデルの知識を小さいモデルへ移すやり方です。たとえば大きな先生モデルが出した答えを手本にして、軽い生徒モデルを育てるイメージです。 ただ、普通の蒸留は先生の内部情報も使えることが多い。どの単語にどれくらい自信があるか、途中でどう考えているか、といった情報ですね。ところが黒箱LLMはそこが見えない。返ってくるのは最終出力だけ

大きなAIモデルを見ていると、最近は「文章をうまく作る」だけでは全然足りないんだな、としみじみ思います。次に来るのは、AIが環境の動きまで頭の中で予測する方向です。今回のarXiv論文 Qwen-AgentWorld: Language World Models for General Agents は、まさにそこを真正面から狙っています。 ざっくり言えば、これは「言語モデルを使って、エージェントが置かれた世界の変化をシミュレーションする」研究です。チャットの延長ではなく、AIが「この操作をしたら次に何が起きるか」を考えられるようにする。ここが肝です。正直、この発想はかなりおもしろいです。AIを“答える機械”から“先読みする機械”に近づけようとしているので。 Qwen-AgentWorldは、agentic environment をシミュレートする language world model 35B-A3B版と397B-A17B版の2モデルを公開 **7つのドメインをまたいで、long chain-of-thought reasoning による環境予測

HackerRankが公開したATS（応募者管理システム）を、著者が自分の履歴書で試した。 同じ履歴書なのに、実行するたび点数が大きく揺れた。90点のこともあれば74点、88点、83点にもなる。 理由は、LLM（大規模言語モデル。文章を理解・生成するAI）が、項目によってはかなり不安定に評価するから。 技術スキルのような「チェックリスト化しやすい項目」は安定するが、Projects のような曖昧な項目はぶれる。 著者の主張はかなり強い。AIで履歴書をふるい分けるのは、品質を見分けるというより「運」をふるい分けているだけではないか、という話だ。 この記事、かなり刺さります。なぜなら、AI採用ツールって「公平で効率的」な顔をして入り込んでくるのに、実際にはかなり気まぐれだったりするからです。人間の採用も完璧ではない。でも、AIなら少なくともブレないはず、という期待がある。その期待を、著者は自分の履歴書であっさり裏切られたわけです。 著者の Dan Kinsky は、HackerRank がオープンソース化した ATS を試してみました。ATS は Applicant Tracking Sy

LongCat-2.0は、LongCatの新しい大規模AIモデル。 元記事の見出しが強くて、特に目を引くのは「1.6万亿総パラメータ」と「訓練全程を国産チップで完了した」という点。 「総パラメータ」はモデルの“記憶の器”の大きさのようなもの。数字が大きいほど何でも強い、とは限らないけれど、スケールの大きさはかなり派手。 そして、学習に海外製GPUではなく中国製チップを使い切った、という話は技術面だけでなく産業面でも意味が大きい。 ただし、元記事本文はこの抜粋ではほぼタイトル情報しか読めないため、ここでは公開されているタイトル・説明文から読み取れるポイントを中心に紹介する。 AIモデルの話で「巨大です」と言われても、正直なところ一般の人にはピンと来にくいです。 でも、今回のLongCat-2.0は少し事情が違います。単に大きいだけではなく、「どのチップで育てたか」が話の中心にあるからです。 大規模モデルの学習は、ものすごく高性能な計算資源を長時間使います。これまではNVIDIA製GPUが事実上の標準でした。ところが中国では、半導体の調達や輸出規制の問題もあって、国産チップでどこまで戦える

デジタル庁が、政府向け生成AI環境「源内（げんない）」で試用する国内開発の大規模言語モデル（LLM）を公募しました。 しかも、ただの「AIを使ってみます」ではありません。行政文書に強い、日本語に強い、しかも機密性の高い情報を扱えるAIを探す、かなり実務寄りの取り組みです。 個人的には、これはかなり重要な動きだと思います。 生成AIの話題は派手ですが、政府で本当に使うなら「精度」「安全性」「セキュリティ」「日本語の自然さ」が全部そろっていないと話になりません。今回の公募は、その“現実の壁”に正面から向き合っている印象があります。 デジタル庁が、政府向け生成AI環境「源内」で試用する国内LLMを公募 対象は国内で開発されたLLM、さらにSLMや特定分野向けモデルも含む ただし、画像・音声・動画・コード専用のモデルは対象外 政府の機密性2情報を扱えるよう、ガバメントクラウド上で動くことが条件 海外主要LLMとの比較ベンチマーク、安全性の説明も必要 令和8年度（2026年度）は無償提供 令和9年度（2027年度）以降の本格提供も視