#言語モデル

生成AIの話題は、文章作成やコード補助を離れて、ついに「車を動かす」段階にまで広がっている。DrivingBenchは、その期待をかなり露骨な形で試したベンチマークだ。舞台は仮想空間ではなく、実車のToyota Corolla。しかも操作は、会話のたびに少しずつ指示を出すのではなく、コーンで組んだコースを走らせながら、前に進むたびに判断を重ねていく。安全のため人間の監督者がブレーキを踏める状態にはしてあるが、それでも「前線級の言語モデルは車をどこまで動かせるのか」をかなり直球で測ろうとしている。 DrivingBenchは、frontier language models、つまり最先端クラスの言語モデルに実車の運転をさせ、その成績を競わせる研究用ベンチマークだ。対象はcomma装備のToyota Corollaで、評価は固定されたcone course、コーンで区切られたコース上で行う。モデルにはsteering、accelerator、brakesの制御権が与えられるが、もちろん放任ではない。人間のsupervisorがいて、必要なら止められる。 このベンチマークの面白いところは、単

圧縮ソフトを「文章の続きを当てる装置」として使えるのか。そんな、少し変わっていて、それでいて情報理論の芯を突く実験を紹介したのが今回の話です。元記事は、機械学習の重みも学習済みモデルも使わず、OSに入っている gzip だけでテキスト生成を試しています。しかも単なる思いつきではなく、圧縮と予測が実は同じものだという見方を前提にしているのが面白いところです。結果は完璧な文章ではありませんが、意外なほど「何かを知っている」出力になっています。 著者は以前、ニューラルネットワークを使わずに言語モデルを作る話を書いていて、その流れで「Language Modeling is Compression」という論文に出会います。そこで示されるのが、予測と圧縮は表裏一体だという考え方です。ある文字や単語が起こりそうだと予測できるなら、その情報は短く符号化できる。逆に、圧縮アルゴリズムは「よく出る並び」を安く扱うので、裏返せば予測器でもある、というわけです。そこから著者は、ならば gzip でも言語モデルっぽいことができるのではないか、と考えます。 やり方はかなり素朴です。学習済みのネットワークはなく、

AIモデルを「もっと自由に使えるようにする」とうたう動きは昔からありますが、Hereticはその中でもかなり直球です。言語モデルから制限を取り除き、ユーザーの指示に必ず従うようにする、と明言しています。しかも単なる研究発表ではなく、`pip install` で入れられるソフトとして公開されているのが目を引きます。安全性や倫理をめぐる議論が続くなかで、こうした道具がどう受け止められるのかを考える材料になります。 Hereticのサイトは、最初からかなり強い言葉を使っています。見出しには「Take control of the most important technology of our time」とあり、その下で「Heretic removes restrictions from language models, making sure they always follow your instructions」と説明しています。つまりこのプロジェクトは、言語モデルにかけられた制約を外し、ユーザーの命令に従わせることを目的にしたソフトウェアです。言い換えると、モデルが安全策として断っ

この手の記事を読むと、つい「モデルの中身」よりも先に「人間が読んだときの違和感」のほうに目が行く。今回もまさにそこが面白かった。Claude には、内容そのものというより、返答の骨組みを支えている語彙や言い回しがある、という見方はかなりしっくりくる。モデルを語るときに精度やベンチマークばかり見がちだけれど、実際に人が触るのは一文一文の手触りなので、そこの癖は思っている以上に大きい。 特に引っかかるのは、こういう“load-bearing vocabulary”が、単なる口調の好みではなく、思考の進み方そのものに見えてしまう点だと思う。たとえば「まずはこれ」「重要なのは」「つまり」といった型が多いと、説明は整って見える。でも裏を返すと、その型がないと話が崩れやすい。人間の文章でも似たことはあるが、LLM だとその依存がもっと露骨に出るのかもしれない。きれいに見える文章ほど、実は少数の言い回しに支えられている、というのは少し怖い。 一方で、こうした癖を見つけることは、モデルを過剰に神秘化しないためにも役立つと思う。賢さの証明として見るより、「この返答はどの定型句で安定しているのか」と眺めた

この記事を読んで最初に思ったのは、watermarking って便利そうに見えるけれど、実際にやる側はかなり神経を使うだろうな、ということだった。言語モデルの出力に「見えない印」を入れる発想自体はわかりやすい。誰が生成した文章かを後から識別しやすくなるなら、悪用対策としては筋がいい。でも、たぶん現場では「入れられるか」より「どれだけ自然さを壊さずに入れられるか」のほうがずっと難しいはずだと思う。 特に気になったのは、こういう仕組みがうまくいくほど、逆に回避する側とのいたちごっこも始まる点だ。少し書き換えられたら消えるのか、翻訳を挟んだらどうなるのか、短文やコード混じりの文章でも機能するのか。watermarking は技術として面白いけれど、万能な「証明」にはなりにくい気がする。結局、生成物の真正性を一つの仕組みだけで担保するのではなく、ログや署名、配布経路の管理みたいな周辺の設計もセットで考えないといけないのではないかと思った。 Reddit の断片的な議論を読むと、こういうテーマは完成品の紹介よりも、むしろ「どこで詰まるか」を想像するほうが面白い。そこが見えるだけでも、研究としては