#大規模言語モデル

Tencentが自社の大規模言語モデル「Tencent Hy4 preview」を公開し、同時にオープンソース化した。単に新しいAIモデルを出したという話ではなく、770Bという巨大な総パラメータ数、49Bのアクティブパラメータ、100万トークン超の長い文脈処理を前面に押し出しているのが特徴だ。しかも用途は研究室のデモではなく、coding、office work、scientific researchのような実務寄りの場面に置かれている。Tencentがこのモデルをどう位置づけ、どこで使わせようとしているのかを見ると、いまの生成AI競争の焦点がかなりはっきりしてくる。 Tencentの発表によると、Hy4 previewは次世代のlarge language modelで、総パラメータ数は770B、実際に推論時に動くactive parametersは49B、context windowは100万トークンを超える。要するに、モデル全体としてはかなり大きいが、常時全部を動かすわけではなく、必要な部分だけを使って計算効率を確保する設計だと読める。Tencentはこのモデルを、実際の生産性

まず引っかかったのは、「V4」と聞いて想像する重さのわりに、記事全体の空気がかなり実務寄りだったことです。新モデルの発表というより、すぐ試して、すぐ置き換えて、という導線が強い。`base_url` はそのままで model 名だけ変えればよく、OpenAI ChatCompletions や Anthropic APIs にも対応している。こういう「既存のつなぎ先を壊さない」設計は、使う側にとってかなり大きいと思う。 それ以上に印象に残ったのは、1M context が標準になったという一文です。長い文書やログ、コードベースを丸ごと扱う時代を、もう「特別な機能」ではなく前提にしようとしている感じがある。1M context は単に長いだけではなく、検索や分割の手間を減らす方向に効くので、RAG の設計そのものを少し変えてしまうかもしれない。ただ、長ければ何でも良いわけではなく、実際にどこまで安定して扱えるのか、そしてそのコストが本当に軽いのかは、触ってみないと分からないとも思った。 もう一つ、この記事はモデル性能の自慢以上に「agent向け」をかなり強く押しているのが面白いです。Ag

この記事を読んでまず思ったのは、モデルに「いつまで知っているか」を聞くだけで、ずいぶん深いところまで覗けるものだな、という驚きだった。知識の古さを当てるだけなら地味にも見えるけれど、著者はそこから training run の境目や、どの世代のチャットが混ざっていそうかまで読もうとしている。こういう発想はかなり好きだ。モデルをブラックボックスとして眺めるのではなく、返答の癖を手がかりにして、逆向きに訓練過程を推理していく感じがある。 特に面白かったのは、単純な「知っている／知らない」ではなく、日付の自認や「自分は誰か」という自己申告まで材料にしているところだ。大規模言語モデルは、実際の知識だけでなく、訓練データに何度出てきたかにも引っ張られる。だから「今日は何日？」と聞いたときに、実際の知識とずれるだけでなく、古い時代にいるつもりで答えることがある。そこに、過去の ChatGPT や Claude の会話が混ざっていそうだ、という読みを重ねるのはかなり筋が通っていると思う。 ただ、読んでいて少し引っかかったのは、ここで出てくる推定がどこまで本当に訓練データの時期を表しているのか、やっぱ

大規模言語モデルの世界は、ここ数年ずっと「でかいモデルが強い」の一強でした。GPT-4のような商用LLMは性能が抜群ですが、中身は見えません。APIの向こう側にいて、内部状態や学習の細部には触れられない。研究する側からすると、これはかなりもどかしい。 この論文 `Knowledge Distillation of Black-Box Large Language Models` は、その厄介な壁をどう越えるかを真正面から扱っています。しかもアイデアがわりと気持ちいい。黒箱LLMの出力を、そのまま小型モデルに押し込もうとするのではなく、proxy model という“仲介役”を挟むのです。 知識蒸留（knowledge distillation, KD）は、強いモデルの知識を小さいモデルへ移すやり方です。たとえば大きな先生モデルが出した答えを手本にして、軽い生徒モデルを育てるイメージです。 ただ、普通の蒸留は先生の内部情報も使えることが多い。どの単語にどれくらい自信があるか、途中でどう考えているか、といった情報ですね。ところが黒箱LLMはそこが見えない。返ってくるのは最終出力だけ

大きなAIモデルを見ていると、最近は「文章をうまく作る」だけでは全然足りないんだな、としみじみ思います。次に来るのは、AIが環境の動きまで頭の中で予測する方向です。今回のarXiv論文 Qwen-AgentWorld: Language World Models for General Agents は、まさにそこを真正面から狙っています。 ざっくり言えば、これは「言語モデルを使って、エージェントが置かれた世界の変化をシミュレーションする」研究です。チャットの延長ではなく、AIが「この操作をしたら次に何が起きるか」を考えられるようにする。ここが肝です。正直、この発想はかなりおもしろいです。AIを“答える機械”から“先読みする機械”に近づけようとしているので。 Qwen-AgentWorldは、agentic environment をシミュレートする language world model 35B-A3B版と397B-A17B版の2モデルを公開 **7つのドメインをまたいで、long chain-of-thought reasoning による環境予測

HackerRankが公開したATS（応募者管理システム）を、著者が自分の履歴書で試した。 同じ履歴書なのに、実行するたび点数が大きく揺れた。90点のこともあれば74点、88点、83点にもなる。 理由は、LLM（大規模言語モデル。文章を理解・生成するAI）が、項目によってはかなり不安定に評価するから。 技術スキルのような「チェックリスト化しやすい項目」は安定するが、Projects のような曖昧な項目はぶれる。 著者の主張はかなり強い。AIで履歴書をふるい分けるのは、品質を見分けるというより「運」をふるい分けているだけではないか、という話だ。 この記事、かなり刺さります。なぜなら、AI採用ツールって「公平で効率的」な顔をして入り込んでくるのに、実際にはかなり気まぐれだったりするからです。人間の採用も完璧ではない。でも、AIなら少なくともブレないはず、という期待がある。その期待を、著者は自分の履歴書であっさり裏切られたわけです。 著者の Dan Kinsky は、HackerRank がオープンソース化した ATS を試してみました。ATS は Applicant Tracking Sy

LongCat-2.0は、LongCatの新しい大規模AIモデル。 元記事の見出しが強くて、特に目を引くのは「1.6万亿総パラメータ」と「訓練全程を国産チップで完了した」という点。 「総パラメータ」はモデルの“記憶の器”の大きさのようなもの。数字が大きいほど何でも強い、とは限らないけれど、スケールの大きさはかなり派手。 そして、学習に海外製GPUではなく中国製チップを使い切った、という話は技術面だけでなく産業面でも意味が大きい。 ただし、元記事本文はこの抜粋ではほぼタイトル情報しか読めないため、ここでは公開されているタイトル・説明文から読み取れるポイントを中心に紹介する。 AIモデルの話で「巨大です」と言われても、正直なところ一般の人にはピンと来にくいです。 でも、今回のLongCat-2.0は少し事情が違います。単に大きいだけではなく、「どのチップで育てたか」が話の中心にあるからです。 大規模モデルの学習は、ものすごく高性能な計算資源を長時間使います。これまではNVIDIA製GPUが事実上の標準でした。ところが中国では、半導体の調達や輸出規制の問題もあって、国産チップでどこまで戦える

デジタル庁が、政府向け生成AI環境「源内（げんない）」で試用する国内開発の大規模言語モデル（LLM）を公募しました。 しかも、ただの「AIを使ってみます」ではありません。行政文書に強い、日本語に強い、しかも機密性の高い情報を扱えるAIを探す、かなり実務寄りの取り組みです。 個人的には、これはかなり重要な動きだと思います。 生成AIの話題は派手ですが、政府で本当に使うなら「精度」「安全性」「セキュリティ」「日本語の自然さ」が全部そろっていないと話になりません。今回の公募は、その“現実の壁”に正面から向き合っている印象があります。 デジタル庁が、政府向け生成AI環境「源内」で試用する国内LLMを公募 対象は国内で開発されたLLM、さらにSLMや特定分野向けモデルも含む ただし、画像・音声・動画・コード専用のモデルは対象外 政府の機密性2情報を扱えるよう、ガバメントクラウド上で動くことが条件 海外主要LLMとの比較ベンチマーク、安全性の説明も必要 令和8年度（2026年度）は無償提供 令和9年度（2027年度）以降の本格提供も視