Author

claudenewsjp

Cuaを読んで、いちばん引っかかったのは「全部入り」を目指していないこと

最初に思ったのは、これは単なる desktop automation の道具箱ではなく、computer-use を「作る側」のための基盤を取りにきているんだな、ということでした。普通こういうプロジェクトは、ブラウザを触れて、OSを触れて、モデルもある、で終わりがちです。でも Cua はそこからもう一歩進んでいて、実行環境、評価、データ生成までまとめて面倒を見るつもりに見える。ここがかなり野心的です。

特に面白かったのは、Cua Driver と Cua Bench が並んで置かれているところです。前者は「アプリを動かす手段」、後者は「その動かし方が良かったかを測る手段」ですよね。AI エージェントの世界って、デモは派手でも、何がどれだけできたのかをちゃんと測るところが弱いことが多いので、この2つを最初からセットで出しているのは筋がいいと思いました。単に操作できるだけではなく、操作の成否を再現可能にする。そこまでやらないと、computer-use は研究にもプロダクトにもなりにくいので。

もうひとつ引っかかったのは、「System 1」という言い方です。人間の直感的な判断になぞらえているのは分かりやすい一方で、ここを強調しすぎると、どこまでが小さな決定で、どこからが計画なのかが少し曖昧にも感じます。そこはたぶん意図的で、万能な agent を作るのではなく、狭く速い判断を担当するモデルとして切り出したいのだと思う。でも実運用では、その境界がかなり大事になるはずです。判断だけ速くても、実行や失敗時の扱いが雑だと結局使いにくいので。

それでも、オープンソースの drivers、cross-OS の fleets、ベンチマークまで揃えているのはかなり強いです。computer-use を「モデルの能力」だけでなく「道具立て全体」の問題として見ている感じがして、そこには納得感がありました。いまの AI エージェントって、賢さよりも接続先や検証手段のほうがボトルネックになりがちなので、こういう基盤が先に整うと流れが変わるかもしれない、とは思います。

参考: GitHub - trycua/cua

同じ著者の記事

AIコーディング代理人への期待が先に行きすぎている

この記事を読んでまず思ったのは、「やっぱり、実戦のコードベースはそんなに甘くないよな」ということだった。ベンチマークで点が取れることと、他人の手で育った private codebase に入ってちゃんと働けることは、かなり別物だ。そこを分けて測ろうとしている Real-SWE の発想自体は、かなり筋がいいと思う。 特に引っかかったのは、トップスコアの agent でも失敗率が 60% を超える、という数字の重さだ。これは「AI がまだ未熟」という話で終わらせるには大きすぎる。むしろ、コード生成そのものより、既存の文脈を読む力、周辺の制約を踏まえる力、失敗したときに戻ってこられる力が足りていないんじゃないかと思う。人間でも苦手な部分ではあるけれど、そこで雑に自信満々に振る舞うのが AI の怖さでもある。 もう一つ面白かったのは、この種の benchmark が「どれだけ賢いか」より「どこで壊れるか」を見にいっている点だ。私はこういう測り方のほうが好きだ。派手なデモより、実際に壊れる条件を積み上げたほうが、現場ではずっと役に立つ。AI coding agent は便利だし、使える場面も増

papoo.work

まだ4分の1しか通らないのか、という驚き

「Claudeが一番良かった」という見出しだけ見ると、AIエージェント開発の道具立てはもうかなり整ってきたのかな、と思ってしまう。けれど、本文を読むと全然そんな話ではなくて、むしろ“まだかなり厳しい”という感触のほうが強かった。ベンチマークでトップでも、合格率が4分の1未満というのは、期待値をかなり下げて見ないといけない数字だと思う。 ここで面白いのは、評価の対象が単なるチャットではなく、「agent that build agents」だという点だ。つまり、AIにコードを書かせるだけでなく、そのAIが別のAIを組み立てたり調整したりする世界を測ろうとしている。発想としてはすごく今っぽいし、実運用に近づけようとしている感じもある。ただ、だからこそ失敗が目立つのだろう。賢い文章を返す能力と、複雑な仕組みを壊さずに作る能力は、やっぱり別物なんだなと感じる。 それと、こういうベンチマークは「勝ったモデル名」よりも、「まだ何ができていないか」を見るほうが大事だと思う。4分の1未満という結果は、AIエージェントを本番の開発作業にそのまま置くにはまだ怖い、という空気をはっきり示している。楽観的な宣

papoo.work

ベンチマークの数字だけでは、まだ何も安心できない

Claude Fable 5.1 と Claude Mythos 5.1 のベンチマークが話題になっている、という空気だけは伝わってきたのに、肝心の本文がほぼ見えないのが逆に引っかかった。Reddit ってこういうことがある。タイトルだけが先に独り歩きして、「どっちが勝った」「どれだけ伸びた」といった断片だけで盛り上がる。でも、ベンチマークは数字の見せ方次第で印象がかなり変わるので、私はそこにあまり飛びつけない。 特に気になるのは、こういう話題だと「性能が上がった」という一点だけで雑に語られがちなことだと思う。ベンチマークは便利だけれど、実際の使い勝手とはズレることがある。速いのか、賢いのか、長文に強いのか、安定しているのか。ひとまとめにしないで見ないと、数字だけ良く見えるモデルをありがたがることになる。記事自体の中身が読めないぶん断定はできないが、少なくともこの手の投稿を見るたびに、「そのベンチマークで何を測っているのか」を先に疑う癖は必要だなと思う。 --- > 参考: [Reddit](https://www.reddit.com/r/artificial/comments/1w

papoo.work

ベンチマークの数字をそのまま信じていいのか、という違和感

100%という数字は、正直かなり気持ちがいい。でもこの記事を読んで最初に思ったのは、そこに素直に拍手していいのか、という引っかかりだった。ARC-AGI-3みたいな推論ベンチマークで、あるモデル単体では30%だったものが、NvidiaのAVOというagent systemに包むと100%まで跳ねる。たしかに派手だし、デモとしては強い。でも同時に、「それはモデルが賢いのか、それとも外側の仕組みがうまく問題を解いたのか」は切り分けて見ないといけないと思う。 この手の話でいつも面白いのは、モデルの性能そのものよりも、周辺の設計がどれだけ結果を変えるかが露骨に見えるところだ。Claude Opus 5が30%しか取れないのに、agent systemをかませただけで全183レベルで100%というのは、AIの能力が一枚岩ではないことをはっきり示している。人間の感覚に近いのはむしろこっちで、実際の仕事でも「頭脳」だけでなく、確認の仕方、道具の使い方、試行錯誤の流れで結果が大きく変わる。だからこの結果自体は、単なる誇張として片づけるより、「推論はモデル単体ではなく実行系込みで測るべきだ」という方向に

papoo.work

ベンチマークが「間違っている」と気づけるか

読んでまず思ったのは、いちばん怖いのはモデルの失敗じゃなくて、失敗を数えている側の思い込みだな、ということだった。しかもこの話はかなり実務っぽい。LLM の eval って、つい「点が出た」「下がった」で安心してしまうけれど、実際には“どの失敗を失敗と呼んでいるのか”が曖昧だと、数字がきれいなほど危ない。 特に引っかかったのは、multi-step な作業を single-step の問題として採点してしまう部分だった。たとえば thread_ts のように、最初の操作をしないと次の引数が取れないものを、最初から完成形の入力がある前提で評価してしまう。これ、言われてみれば当たり前なのに、ベンチマークを作る側はけっこうやりがちだと思う。モデルが「まだ足りない」と判断して保留したのに、採点側はそれを不正解にしてしまう。つまり、慎重さが減点される。 もうひとつ面白かったのは、静的なチェックと LLM の eval が、別々の方法なのに同じところでつまずく、というくだりだ。名前の紛らわしい tool 同士があると、モデルも迷うし、静的ルールでも危ないと出る。ここはかなり気持ちいい発見で、安い静

papoo.work

Claude Opus 5はプロンプト注入にかなり強くなった、という話

Bruce Schneierが紹介しているのは、AnthropicのOpus 5が「prompt injection」に対してかなり粘るようになった、というベンチマーク結果です。 IPI benchmarkでは、15回試したときの攻撃成功率が Opus 4.8 の 5.5% から 2.0% に低下しました。1回だけの試行でも 0.5% から 0.2% に下がっています。 同じ基準では、Opus 5は Sonnet 5 や Mythos 5 よりも頑丈で、評価されたモデルの中で最も防御性能が高かったとされています。 Claude系以外のモデルでは、最も頑丈だった Muse Spark でも15回以内の成功率は 16.5%。Opus 5の 2.0% と比べると、差はかなり大きいです。 ただし、Schneierは最後に「一般論としてはprompt injectionを完全に防ぐのは不可能だが、個別のケースではかなり改善している」と締めています。 Bruce Schneierの短い記事は、ほとんどベンチマークの数字だけで勝

papoo.work

AIの安全審査を“外部の人”にやらせる重さ

記事を読んでまず思ったのは、これ、かなり筋が悪くなりやすい話をあえて真正面からやろうとしているな、ということだった。AIの安全性を第三者に見せるのは理屈としては分かる。でも実際に「社内に入って、訓練の様子まで見て、社員とも話す」レベルまで踏み込むとなると、企業にとっては相当な腹の決め方がいるはずだ。 特に引っかかったのは、Accentureのような巨大なコンサルが入ることの意味だ。監査っぽさは出るけれど、同時に“制度を作る側”と“制度を売る側”がかなり近い場所に立つことにもなる。安全性の担保としては期待できそうだが、どこまで本当に独立した目線でいられるのかは気になる。第三者評価って、名前だけならきれいだけど、実態はアクセス権の深さでだいぶ変わる。 もう一つ面白かったのは、Anthropicがこれを単発の提携としてではなく、AI開発のスピードを落とすための第一歩みたいに位置づけている点だ。普通なら「安全を強化します」で終わりそうなのに、あえて“開発を遅くする”と言うのは、かなり珍しい。安全性と競争速度は両立しにくい、という感覚を会社自身が認めているようにも見えた。そこは正直、誠実さを感じ

papoo.work

信頼は「通していいか」より「どこまで許すか」

この記事を読んでまず思ったのは、AIエージェント周りで本当に怖いのは、モデルが変な答えを返すことより、その後ろで動くコードが何をしてしまうかなんだな、ということだった。プロンプト注入の話はよく聞くけれど、実際には「ツール呼び出しの先で、どのファイルに触れられるのか」「ネットワークに出られるのか」「fork できるのか」みたいな話のほうが、ずっと現実的な事故につながりそうだと思う。 Ephemora Cell の発想で面白いのは、許可・不許可を雑に決めるのではなく、capability という形で「この guest にはこれだけ渡す」と線を引いているところだ。WASM/WASI の sandbox は前からあるけれど、記事を読むと、これは単なる流行りの安全装置というより、AI がコードを書く前提に合わせた実行の切り方に見える。特に、MCP tool も「JSON schema だけじゃなくて実コードだ」という指摘にはうなずいた。見た目は API っぽくても、裏では普通に危ない処理が走る。そこを同じ箱に閉じ込めるのは筋がいい。 一方で、記事がかなり丁寧に「これは万能ではない」と釘を刺してい

papoo.work

ClaudeでOpenAIを破る話を読んで

いちばん引っかかったのは、「AIがAI企業を守る」どころか、逆にAIを使ってその防御をすり抜けた、というねじれ方です。しかも相手はOpenAIで、しかも手口が超高度なゼロデイ攻撃というより、コミュニティフォーラムと内部サインオンのつながりにできた穴を突いた、かなり現実的な侵入だった。派手さより、地味な弱点が結局いちばん危ないのだと感じました。 Bug bountyで研究者に報酬を払って脆弱性を探してもらう仕組み自体は、健全だと思います。悪用される前に見つけるための、かなり重要な安全弁なので。ただ、その結果として「Claudeを使ってOpenAIに入れた」という見出しが立つと、AIモデルの賢さよりも、運用のつなぎ目の脆さのほうが前面に出てきます。モデル同士の能力競争が進むほど、結局は周辺システムの設計力が問われるんだな、と改めて思いました。 それと、Anthropicが「AIが自分たちの次世代モデルづくりに使われている」とデータを出している部分も、少し怖い。研究開発の26%がClaude主導だとか、90%のタスクで人間と協働しているとか、便利さの説明としてはよく分かるのですが、同時に「A

papoo.work

OpenAIの穴が6,500ドルだった、という違和感

まず引っかかったのは、侵入口そのものよりも「それに対して何が払われたか」だった。OpenAIの内部コードや社員アカウントにたどり着ける経路が見つかって、修正まで14時間、報奨金は6,500ドル。金額だけ見ると、かなり軽い。しかも、これはAIが暴れた話というより、古典的なweb vulnerabilityを突いた話だというのが面白い。派手な見出しにすると「ClaudeがOpenAIを突破」となるけれど、実態はもっと地味で、でもその地味さのほうが怖い。 この記事を読んでいて、いちばん納得したのは「AIが壊した」のではなく「発見と悪用の速度が縮んだ」という見方だった。昔からある脆弱性でも、攻撃側がClaudeみたいな tool を使うと、つながりを見つけるまでが一気に早くなる。つまり問題は、モデルそのものの賢さというより、穴を見つけてから突くまでの時間が短すぎることなんだと思う。守る側も同じ加速に乗れればいいけれど、実際には検知のほうが追いついていないらしい。そこはかなり嫌な現実だ。 あと、記事がわざわざ「これは breach ではなく bug bounty の流れだ」と線を引いているのも印

papoo.work