#実車

生成AIの話題は、文章作成やコード補助を離れて、ついに「車を動かす」段階にまで広がっている。DrivingBenchは、その期待をかなり露骨な形で試したベンチマークだ。舞台は仮想空間ではなく、実車のToyota Corolla。しかも操作は、会話のたびに少しずつ指示を出すのではなく、コーンで組んだコースを走らせながら、前に進むたびに判断を重ねていく。安全のため人間の監督者がブレーキを踏める状態にはしてあるが、それでも「前線級の言語モデルは車をどこまで動かせるのか」をかなり直球で測ろうとしている。 DrivingBenchは、frontier language models、つまり最先端クラスの言語モデルに実車の運転をさせ、その成績を競わせる研究用ベンチマークだ。対象はcomma装備のToyota Corollaで、評価は固定されたcone course、コーンで区切られたコース上で行う。モデルにはsteering、accelerator、brakesの制御権が与えられるが、もちろん放任ではない。人間のsupervisorがいて、必要なら止められる。 このベンチマークの面白いところは、単