#machine_learning

Transformer系のLLMは、長い文脈を扱うほど重くなりやすい この論文は、sleep-like consolidation（睡眠のような統合）という仕組みを提案している モデルは「起きている間」に予測し、「眠っている間」に過去の文脈を整理してfast weightsに保存する その結果、推論時の遅さを増やしすぎずに、長い文脈を扱いやすくする狙いがある 実験では、cellular automata、multi-hop graph retrieval、数学推論タスクで評価している とくに深い推論が必要な例で、sleep時間を増やすと性能が伸びた 大きな言語モデル、つまりLLMは、ここ数年でかなり賢くなりました。 ただし、万能というわけではありません。とくに長い文脈、つまり「前の会話」「長文の資料」「複数ステップの情報」をずっと覚えながら考えるのは苦手になりがちです。 その原因のひとつが、Transformerのattentionです。 attentionは「どの情報をどれだけ参照するか」を計算する仕組みですが、文脈が長くなるほど計算が重くなります。ざ

OOD detection は、学習時に想定していなかった入力を見つける仕組みのこと 今回の話題は、closed LLM API に対してそれをどうやるのか、という実践的な悩み APIの中身が見えないので、モデルの内部確率や埋め込みを自由に使えないのが厳しい そのため、外から観測できる情報だけで判断する工夫が必要になる こういう問題は、LLMを「賢い会話相手」として使うだけでなく、安全性や運用まで考えると急に重要になる Redditに、`how do you do OOD detection on a closed LLM api?` というタイトルの投稿がありました。 要するに、「中身が見えない閉じたLLM APIに対して、OOD detectionをどうやるの？」という話です。 この質問、地味にかなり面白いです。というのも、LLMを使うときって、つい「答えが返ってくればOK」と思いがちなんですが、実運用ではそれだけでは足りません。 たとえば、医療、法務、社内FAQ、カスタマーサポートみたいな場面では、入力が想定範囲内かどうかを先に見極

研究チームは、マウス全身を細胞レベルで解析できるAIシステム「MouseMapper」を開発した その結果、肥満は代謝だけでなく、顔の感覚に関わる三叉神経にもダメージを与える可能性が示された 肥満マウスでは、神経の枝分かれや末端が減り、触覚への反応も鈍くなっていた 人間の組織でも、同じような分子の特徴が見つかっており、ヒトにも関係する可能性がある こうした全身をまたぐ病気の変化を、一気に見渡せるのがこのAIの強みだと思う 肥満というと、多くの人は「体重が増える」「血糖値が上がる」「脂肪がつく」といったイメージを思い浮かべるはずです。もちろんそれも重要ですが、今回の研究が面白いのは、肥満が“顔の神経”にまで静かに影響しているかもしれない、と示した点です。 しかも、ただの観察ではありません。研究チームは「MouseMapper」というAIベースの仕組みを使って、マウス全身を3Dで細胞レベルに近い精度でマップ化しました。これがかなり強い。今までの研究は、臓器ごと、あるいは気になる部分だけを切り取って調べることが多かったのですが、今回は全身をまとめて見たことで、思わぬ場

Redditでは「Andrej KarpathyがAnthropicに入った」という投稿が話題になった ただし、元記事として提示された本文は「Reddit - Please wait for verification」とだけで、内容の詳細は確認できない そのため、この記事では事実として確認できる範囲と、そこから見える文脈を中心に解説する KarpathyはAI分野で非常に有名な研究者・実務家で、もし動きがあれば業界インパクトはかなり大きい AnthropicはClaudeで知られるAI企業で、OpenAIなどと並ぶ最重要プレイヤーのひとつ こうした“人材の移動”は、AI業界の勢力図を読むうえでかなり面白い 今回の元情報は、Redditの投稿タイトルとして 「Andrej Karpathy just joined Anthropic」 というものです。 ただし、この記事作成時点で提供された本文は、実際の内容ではなく 「Reddit - Please wait for verification」 という表示のみでした。つまり、投稿の中身や裏取りできる詳細は、

PyTorch Landscapeは、PyTorchまわりの技術やツールを整理して見渡せる「地図」のようなサイトです。 PyTorchは、機械学習や深層学習でよく使われる人気のフレームワークです。 こうしたLandscape系のサイトは、情報が多すぎる技術分野で「今どこに何があるか」をつかむのにとても便利です。 かなりシンプルなサイト名ですが、逆にそれが「まず全体像を見せる」ことに徹している感じで面白いと思います。 元記事の本文は実質的にサイト名だけで、詳細な説明はほとんどありません。 ただ、タイトルとURLから考えると、このサイトは PyTorchに関連する技術や周辺サービスを一覧できる“Landscape” だと考えるのが自然です。 「Landscape」という言葉は、ITの世界では「業界全体の見取り図」みたいな意味で使われることがよくあります。 つまり、単なるニュースサイトというよりは、PyTorchを中心にしたツール、ライブラリ、企業、サービスなどを俯瞰するための案内板、といった立ち位置ではないかと思います。 PyTorchは、ざっくり言うと **AIや機械学習のモデル

AIモデルは、学習データの中にある「世界の見え方」をかなり素直に吸い込みます。 では、AIについて語られる文章そのものが、モデルの性格やふるまいに影響したらどうなるのか。 今回のarXiv論文は、そのちょっと怖くて、でもすごく面白い問いに正面から挑んだ研究です。 AIに関する文章の内容が、LLMのalignment（望ましいふるまい）に影響するかを調べた研究 6.9BパラメータのLLMを使い、(mis)alignment に関する discourse の量を操作して検証 AIのmisalignmentを強調したデータを増やすと、モデルのmisaligned behaviorが増えた 逆に、aligned behavior を扱うデータを増やすと、misalignment score が 45% から 9% に下がった こうした効果は post-training（追加学習）で弱まるが、完全には消えない 著者らはこれを「self-fulfilling alignment / misalignment」と呼び、pretraining段階でのalignment設計を重要

CODAは、Transformerの一部処理を GEMM + epilogue という形にまとめて実行するGPU kernel abstraction ねらいは、メモリを何度も往復する無駄を減らして、実行効率を上げること 特に normalization、activation、residual update、reduction など、計算量は少ないのにデータ移動が多い処理が対象 GEMM本体の流れは固定し、epilogue側に scaling、reductions、pairwise transformations、accumulation といった小さな部品を組み合わせる設計 標準的なTransformer blockの attention以外の前向き・逆伝播のほぼ全部 をカバーできる、と論文は主張している 人手でもLLMでも書ける設計で、しかも高性能が出るのが面白いところ Transformerと聞くと、みんなまず attention を思い浮かべると思います。実際、巨大なモデルの心臓部です。でもこの論文が面白いのは、**本丸そのものよ

Swiggyは、検索窓に文字を打つたびに出るAutocompleteを、手作業のルールではなくMachine Learningで並び替える仕組みに変えた 検索候補の「取得」と「順位づけ」を分け、役割ごとに最適化している OpenSearchの中でランキングを動かし、余計なサービス呼び出しを増やさず低遅延を守っている Feature Storeを使って、リアルタイムの行動データと事前計算した特徴量をうまく扱っている ユーザーのクリックや購入などを学習に戻すことで、モデルを継続的に更新できる インドのフードデリバリー企業 Swiggy が、検索候補表示の仕組みをかなり本格的に刷新した、という話です。 検索窓に1文字打つと候補が出てくるあの機能、見た目は地味ですが、実は裏側ではかなり忙しい処理が走っています。しかも Autocomplete は、1回の検索で終わりではなく、キーを打つたびに再検索が起きるので、とにかく速さが命です。 ここが遅いと、ユーザーは「なんか引っかかるな」と感じてすぐ離れてしまう。地味だけど、サービスの体験を左右する重要パーツです

Anthropicは、AI interviewerを使って約8万1,000人から意見を集めた大規模調査を実施した 調査は70言語・159カ国にまたがり、「大規模な質的調査」として注目された ただし元記事の研究者らは、AIは質問はできても、人間のように対話を深めて意味を理解するのは難しいと主張している 理由は、AIには lived experience（実際に生きた経験）、 positionality（研究者自身の立場や背景）、 reflexivity（自分の偏りを見つめ直す力）がないから つまり、AIは“data”は集められても、“meaning”までは作れない、というのが記事の核心 Anthropicは2026年3月、AI interviewerを使って「史上最大級かつ最も多言語な質的調査」を行ったと発表しました。集まった回答は約8万1,000人分。しかも70言語、159カ国に広がっていたというのです。数字だけ見れば、かなり派手です。正直、ここは「おお、ついにここまで来たか」と思ってしまいます。 Anthropicの主張はシンプ

Qwen Studioは、Qwenの統合型AI作業環境として紹介されている chatbotだけでなく、image and video understanding、image generation、document processing、web search integration、tool utilization、artifactsまでカバーする つまり「会話するAI」から一歩進んで、調べる・作る・読む・整理するをまとめて扱う方向のサービスだと考えられる 技術に詳しくない人にとっても、AIを“使う場所”がひとつにまとまるのはかなり便利そう 一方で、実力は細かい機能の完成度次第なので、今後の使い勝手が気になるところでもある Qwen Studioは、Qwenが提供するAI体験の中心になるような場所だと見てよさそうです。元記事の説明によると、対応範囲はかなり広く、単なるchatbotではありません。 たとえば、こんなことをまとめて扱えるようです。 会話する 画像や動画の内容を理解する 画像を生成する 文書を処理する web s

コーネル大学の研究者が、複雑な判断を助けるAIツールを開発した ただしAIが答えを出すのではなく、人間の選択の矛盾や偏りを見つけるのが役目 使い方は、評価基準の重みづけと、選択肢どうしの比較を組み合わせる仕組み 映画の短編評価と学生課題の採点でテストされ、一貫性と再現性が高い結果が出た 高い stakes（失敗できない重要な判断）では、こういう“考えを整理させるAI”はかなり有効そう ふつう、AIを意思決定に使うと聞くと「AIが答えを出して、人間がそれを信じる」というイメージを持つ人が多いと思います。 でも今回のコーネル大学の研究は、ちょっと発想が逆です。 このツールは、AIが人間の判断を採点するというより、人間の判断に矛盾がないかを点検するためのものです。 たとえば、就職候補者の比較、大学院の選択、映画賞の候補の順位づけのように、単純な「良い・悪い」では決めにくい場面で使うことを想定しています。 個人的には、ここがかなりおもしろいと思いました。 AIが人を置き換えるのではなく、人間の考えを整理するための鏡みたいに働くわけです。これは、A

このリポジトリは、PyTorchモデルのHessian（ヘッシアン）行列の固有値・固有ベクトルを、できるだけ軽く計算するためのツール集です。 ただし「全体を巨大な行列として持つ」のではなく、Hessian-vector product（HVP）という仕組みを使って、メモリ消費を抑えながら近似的に計算します。 Lanczos法、stochastic power iteration、Hutch++、Stochastic Lanczos Quadrature など、線形代数のアルゴリズムが好きな人にはかなり刺さる内容です。 実用面では、通常のPyTorchモデルだけでなく、HuggingFace系のTransformerやTransformerLensにも対応しているのが面白いところです。 個人的には、深層学習の「学習後のモデルをどう見るか」を支える、かなり“渋いけど重要”なライブラリだと思います。 Hessianは、ざっくり言うと「損失関数の曲がり具合」を表す行列です。 たとえば、山の地形を想像してください。 坂が急なら曲がりが強いし、なだらかなら曲

OpenAIが開催した「Parameter Golf」は、かなり変わった縛りのある機械学習コンテストでした。 でも、単なる“お遊び”ではなく、AI研究・コード作成・量子化・モデル設計が、AIエージェントの時代にどう変わるのかをかなり生々しく見せてくれたイベントだったと思います。 1,000人超が参加、提出は2,000件超と大規模だった 目的は、FineWebデータセットの損失を最小化すること ただし条件が厳しく、16MBのアーティファクト制限と8×H100で10分以内の学習が必要だった 参加者の多くがAI coding agentsを使っていた その結果、参加のハードルは下がった一方で、審査やルール判定の難しさも増えた 量子化、テスト時学習、新しいトークナイザ、独自Attentionなど、アイデアの幅がかなり広かった OpenAIはこれを、将来の研究コンテストの試金石と見ている まず前提から。 Parameter Golfは、OpenAIが機械学習コミュニティ向けに実施した制約つきの研究チャレンジです。 や

AI agents は、普通の ChatGPT 的な使い方より はるかに多くの tokens を消費しがち その理由は、agent が 考える・試す・失敗する・やり直す を何度も繰り返すから 使った分だけ課金される仕組みでは、成功しても失敗しても請求が増える 実際に、チーム規模が小さい会社でも 予想外の高額請求 が起きている しかも厄介なのは、事前に正確な請求額を予測しにくいこと この記事が扱っているテーマは、いまのAI業界でかなり重要です。 それは 「AI agents は便利だけど、気づかないうちにすごい勢いでお金を使う」 という問題です。 ここでいう AI agent とは、単に質問に答えるAIではなく、 「目的を与えると、自分で手順を考えながら作業を進めるAI」のことです。 たとえば、コードのバグ修正、調査、要約、ファイル操作、タスク分解などを自動でやるタイプですね。 普通のChatGPTの使い方なら、1回の質問で1回の回答が返ってきます。 でもagentは違います。 途中で「どう進めるか」を考え、必要なら何度もツールを呼

SANA-WMは、camera-controlled な 720p video generation を行うための、効率重視の world model ここでいう world model は、世界の動きや状態の変化を“予測するモデル”のこと 「minute-scale」というのがポイントで、短いクリップではなく、もっと長めの時間幅を扱おうとしている しかも 720p という、かなり実用的な解像度を対象にしているのが面白い 細かい実装詳細は元ページの本文からは読み取れないが、タイトルだけでも「動画生成」と「世界モデル」の橋渡しを狙っているのがわかる world model は、ざっくり言うと「世界がこの先どう変わるか」を頭の中でシミュレーションするモデルです。 AIの文脈では、単に画像をきれいに作るだけではなく、時間の流れや物体の動き、カメラの視点変更まで含めて未来を予測するイメージですね。 たとえばゲームの中でキャラクターが歩いたら、背景や遠景もそれっぽく変化しますよね。 world model は、そういう「次に何が起きるか」を考える仕