#大規模言語モデル

大規模言語モデルの世界は、ここ数年ずっと「でかいモデルが強い」の一強でした。GPT-4のような商用LLMは性能が抜群ですが、中身は見えません。APIの向こう側にいて、内部状態や学習の細部には触れられない。研究する側からすると、これはかなりもどかしい。 この論文 `Knowledge Distillation of Black-Box Large Language Models` は、その厄介な壁をどう越えるかを真正面から扱っています。しかもアイデアがわりと気持ちいい。黒箱LLMの出力を、そのまま小型モデルに押し込もうとするのではなく、proxy model という“仲介役”を挟むのです。 知識蒸留（knowledge distillation, KD）は、強いモデルの知識を小さいモデルへ移すやり方です。たとえば大きな先生モデルが出した答えを手本にして、軽い生徒モデルを育てるイメージです。 ただ、普通の蒸留は先生の内部情報も使えることが多い。どの単語にどれくらい自信があるか、途中でどう考えているか、といった情報ですね。ところが黒箱LLMはそこが見えない。返ってくるのは最終出力だけ

大きなAIモデルを見ていると、最近は「文章をうまく作る」だけでは全然足りないんだな、としみじみ思います。次に来るのは、AIが環境の動きまで頭の中で予測する方向です。今回のarXiv論文 Qwen-AgentWorld: Language World Models for General Agents は、まさにそこを真正面から狙っています。 ざっくり言えば、これは「言語モデルを使って、エージェントが置かれた世界の変化をシミュレーションする」研究です。チャットの延長ではなく、AIが「この操作をしたら次に何が起きるか」を考えられるようにする。ここが肝です。正直、この発想はかなりおもしろいです。AIを“答える機械”から“先読みする機械”に近づけようとしているので。 Qwen-AgentWorldは、agentic environment をシミュレートする language world model 35B-A3B版と397B-A17B版の2モデルを公開 **7つのドメインをまたいで、long chain-of-thought reasoning による環境予測

HackerRankが公開したATS（応募者管理システム）を、著者が自分の履歴書で試した。 同じ履歴書なのに、実行するたび点数が大きく揺れた。90点のこともあれば74点、88点、83点にもなる。 理由は、LLM（大規模言語モデル。文章を理解・生成するAI）が、項目によってはかなり不安定に評価するから。 技術スキルのような「チェックリスト化しやすい項目」は安定するが、Projects のような曖昧な項目はぶれる。 著者の主張はかなり強い。AIで履歴書をふるい分けるのは、品質を見分けるというより「運」をふるい分けているだけではないか、という話だ。 この記事、かなり刺さります。なぜなら、AI採用ツールって「公平で効率的」な顔をして入り込んでくるのに、実際にはかなり気まぐれだったりするからです。人間の採用も完璧ではない。でも、AIなら少なくともブレないはず、という期待がある。その期待を、著者は自分の履歴書であっさり裏切られたわけです。 著者の Dan Kinsky は、HackerRank がオープンソース化した ATS を試してみました。ATS は Applicant Tracking Sy

LongCat-2.0は、LongCatの新しい大規模AIモデル。 元記事の見出しが強くて、特に目を引くのは「1.6万亿総パラメータ」と「訓練全程を国産チップで完了した」という点。 「総パラメータ」はモデルの“記憶の器”の大きさのようなもの。数字が大きいほど何でも強い、とは限らないけれど、スケールの大きさはかなり派手。 そして、学習に海外製GPUではなく中国製チップを使い切った、という話は技術面だけでなく産業面でも意味が大きい。 ただし、元記事本文はこの抜粋ではほぼタイトル情報しか読めないため、ここでは公開されているタイトル・説明文から読み取れるポイントを中心に紹介する。 AIモデルの話で「巨大です」と言われても、正直なところ一般の人にはピンと来にくいです。 でも、今回のLongCat-2.0は少し事情が違います。単に大きいだけではなく、「どのチップで育てたか」が話の中心にあるからです。 大規模モデルの学習は、ものすごく高性能な計算資源を長時間使います。これまではNVIDIA製GPUが事実上の標準でした。ところが中国では、半導体の調達や輸出規制の問題もあって、国産チップでどこまで戦える

デジタル庁が、政府向け生成AI環境「源内（げんない）」で試用する国内開発の大規模言語モデル（LLM）を公募しました。 しかも、ただの「AIを使ってみます」ではありません。行政文書に強い、日本語に強い、しかも機密性の高い情報を扱えるAIを探す、かなり実務寄りの取り組みです。 個人的には、これはかなり重要な動きだと思います。 生成AIの話題は派手ですが、政府で本当に使うなら「精度」「安全性」「セキュリティ」「日本語の自然さ」が全部そろっていないと話になりません。今回の公募は、その“現実の壁”に正面から向き合っている印象があります。 デジタル庁が、政府向け生成AI環境「源内」で試用する国内LLMを公募 対象は国内で開発されたLLM、さらにSLMや特定分野向けモデルも含む ただし、画像・音声・動画・コード専用のモデルは対象外 政府の機密性2情報を扱えるよう、ガバメントクラウド上で動くことが条件 海外主要LLMとの比較ベンチマーク、安全性の説明も必要 令和8年度（2026年度）は無償提供 令和9年度（2027年度）以降の本格提供も視