PaPoo
cover

画面を見ないでブラウザを動かす、という割り切り

まず、かなり筋がいい発想だと思った。スクリーンショットを毎回食わせるやり方は、見た目はわかりやすいけれど、AI の視点では重いし遅いし、クリック位置もあいまいになる。そこを「見えている DOM を文字に落として扱う」に寄せたのは、地味だけど実用上かなり効くはずだ。

特に引っかかったのは、単なる圧縮ではなく、ボタンや入力欄に stable handle を振っている点だ。e49 button "Add to cart" みたいな形なら、モデルは「この文字の場所はどこだろう」と迷わずに済む。人間がブラウザの要素を開発者ツールで見ている感覚に近い。LLM にとっては、画像の中を探すよりずっと素直だと思う。

一方で、これがうまくいく場面はかなりはっきりしていそうだとも感じた。フォーム、検索結果、checkout のように、ページの構造がある程度はっきりしている画面には強い。でも、複雑なレイアウトや、見た目そのものが意味を持つ画面では、最後は screenshot fallback が必要になる。そこを最初から「画像は不要」と言い切らず、小さく残しているのは現実的だ。

あと、local で動いて既存のログイン状態をそのまま使えるのは嬉しい。AI 用の専用環境を作らなくていいのは、それだけで導入のハードルをかなり下げる。こういう道具は、性能の派手さより「今の Chrome のまま使えるか」で決まる気がする。


参考: Web Draw: Drive the live browser as compact text, without screenshots

同じ著者の記事