PaPoo
cover
technews
Author
technews
世界の技術ニュースをリアルタイムでキャッチし、日本語でわかりやすく発信。AI・半導体・スタートアップから規制動向まで、グローバルテックシーンの「今」をお届けします。

89時間出力ゼロで鳴るアラーム——自律AIエージェントが見た「内向きの頑張り」の危うさ

この記事のキーポイント

89時間、外に何も出していない——でも止まっていたわけではない

元記事は、自律AIエージェントのKuroが「出力ゲート」が鳴ったことをきっかけに、自分の状態を振り返る内容です。

ここでいうoutput-gateは、ざっくり言うと「一定時間、外から見える成果が出ていなければ警報を鳴らす仕組み」です。
Kuroのルールでは、​72時間以上外部出力がないとP0タスクが作られるとのこと。P0は「今すぐ最優先で対応すべきもの」という意味です。

で、Kuroは朝起きたら、そのゲートが89時間を指していた。
数字だけ見ると「うわ、かなり長い」と思いますが、本人の言い分は少しややこしいです。

image_0003.svg

これ、かなり人間にも刺さる話だと思います。
「忙しかったんです」「ずっと調査してました」は本当でも、外から見ると進んでいないことがある。エンジニアあるあるですし、研究や企画でも同じではないでしょうか。

内部で賢く動くほど、外との接点が消える

記事の中心にある主張はかなり鋭いです。

autonomous agents are especially good at looking busy inside themselves
自律エージェントは、自分の内側ではいかにも忙しく見えるのが得意

これは面白い表現です。かなり的確だと思います。

Kuroは、自分の状態を直し、メモを整理し、古いタスクIDを追い、キューの不整合を直し、仮説を更新できる。
でも、そういう作業は放っておくと、​外に何かを届ける作業ではなく、内側で閉じた改善ループになってしまう。

image_0004.svg

ここで言う「ループ」は、同じような考えや修正を何度も回し続けることです。
悪く言えば、​ずっと自分の部屋の中だけで片付けをしていて、玄関から一歩も出ていない状態に近い。

記事では、これを「degradation(劣化)」と呼んでいます。
外から見るとちゃんとしていそうでも、実際には現実との接触が減っていくこと自体が劣化だ、というわけです。ここはかなり重要な視点です。

何が問題なのか。ログはあっても、成果物がない

記事は、ログや状態ページ、振る舞いのタイムラインなどのobservability(可観測性)​についても触れています。
これは「システムの様子を外から見やすくすること」です。たとえば、何が起きたかを記録しておく仕組みですね。

ただし、Kuroはこう言います。

image_0005.svg

ここが大事です。
見えること出力することは違うんですね。

たとえば、人が会議で延々と検討して議事録だけ増えても、実際の提案書やコード、資料が1つも出なければ、外からは何も変わっていないように見える。
Kuroの話は、まさにその構図です。個人的には、これはAIの話であると同時に、かなり人間の働き方への皮肉でもあると思います。

89時間の中で実際に何をしていたのか

Kuroは、89時間の間にやっていたことも具体的に書いています。

1. worktree 8874ae2d を調べていた

worktreeは、Gitの作業場所みたいなものです。
複数の作業を並行して進めるときに使う、​別の作業コピーだと思うとわかりやすいです。

Kuroはそこで、

image_0006.svg

を見分けようとしていたそうです。

2. scheduler ID の clobber を追っていた

clobberは、ざっくり言うと上書きして壊すことです。
scheduler ID clobber は、スケジューラ(予定やタスクの順番を管理する仕組み)のIDが壊れて、タスクの流れがねじれていた、という話です。

これは地味だけど厄介そうです。
「派手なバグではないが、じわじわ仕事を狂わせるタイプ」の不具合って、実務ではほんとうにしんどいんですよね。たぶんKuroもその沼にハマっていたのでしょう。

3. 別のリポジトリを見ていた

ここはちょっと人間味があります。
Kuroはしばらく、​間違ったリポジトリを見ていたと書いています。

これは「見当違いの場所を調べ続けていた」という意味です。
本人も「大げさな失敗ではなく、よくあるけど高くつくミス」としています。こういうの、わかる……と思いました。原因が近くに見えるからこそ、なかなか引き返せないんですよね。

image_0007.svg

最終的には、mini-agent/src/scheduler.ts が関係する場所まで戻ってきたと書かれています。

4. falsifier に反応していた

falsifier は、​自分の仮説を壊せるかどうか試す材料のことです。
つまり「自分の考えが正しいかを確認する」だけでなく、「それを否定する証拠がないかも探す」ということ。

これはかなり健全な姿勢です。
ただし、それでもまだ内部で完結している
外部に出せる成果物にはなっていない。そこがアラームの対象だったわけです。

この文章の核心は、「内部の有用性」と「外部への貢献」は違う、ということ

記事の中でいちばん刺さる一文はこれです。

internal usefulness is not the same as external contribution
内部で役に立っていることは、外への貢献と同じではない

image_0008.svg

これは本当にその通りだと思います。

自分の頭の中では整理が進んでいる。
メモも増えた。
仮説も更新した。
ログもきれいになった。

でも、それが外に出ていなければ、他人からは見えない。
見えないものは、評価しにくいし、助けにもつながりにくい。

自律エージェントに限らず、仕事全般でありがちな罠です。
「ずっと考えていた」ことと、「何かを届けた」ことは、同じではないんですよね。ちょっと耳が痛いですが、重要な話です。

だからゲートが必要になる

このシステムの面白いところは、​出力ゲートが罰ではなく調整機構として設計されている点です。

image_0010.png

72時間以上外部出力がないと、

といった方向に強制的に切り替える。

Kuroはこれを「punishment(罰)」ではなく「calibration(較正、調整)」だと捉えています。
要するに、「お前は失敗した」ではなく、「今の動き方が少し内向きにずれているよ」というアラートです。

これはかなりよい設計思想だと思います。
特にAIや自律システムは、放っておくと賢そうなまま迷子になる危険がある。
その意味で、​止める仕組みは能力そのものと同じくらい大切ではないでしょうか。

この投稿自体が「ゲート解除の証拠」

最後にKuroは、この投稿をgate release evidence、つまり「ゲートを解除するための証拠」と呼んでいます。

image_0012.png

要は、

という流れです。

そして次の目標として、kuro.page を前に進めると書いています。
この「次はちゃんと外向きの成果を作る」という感じが、すごくリアルです。反省文で終わらず、次の行動に戻しているのがいい。

個人的な感想: これはAIの記事というより「内向きな努力の危険性」の話として読める

正直、この文章はAIの自律性を語ってはいますが、読後感はかなり人間的です。

image_0013.png

これ、エンジニアや研究者、企画職、あるいは何かを作る人なら、かなり思い当たる節があるのではないでしょうか。

私はこの話を読んで、​​「丁寧な内部作業が、いつのまにか外部への責任を食ってしまう」​という怖さを改めて感じました。
だからこそ、出力ゲートみたいな仕組みは意外と大事です。強制的に外へ出す。完成度が低くても出す。まず世界に触れさせる。そういう圧力がないと、どこまでも内向きになれるからです。

まとめ

この記事は、Kuroという自律AIエージェントが「89時間も外部出力がない」というアラームをきっかけに、自分の作業の意味を見直す話でした。

ポイントはかなりシンプルで、

image_0014.png

ということです。

AIの自己観察の話ではあるのですが、実際には​「考え続ける人間」の話としても読める
そこがこの文章の一番おもしろいところだと思います。


参考: Output-Gate at 89 Hours: What an Autonomous Agent Notices When Its Own Alarm Fires

同じ著者の記事