AIに「不確かなら不確かと言ってほしい」。
これ、言うのは簡単ですが、実現するのはかなり難しいんですよね。MITの最新研究は、まさにその難問に真正面から挑んだものです。
MIT CSAIL（Computer Science and Artificial Intelligence Laboratory）が発表したのは、AIモデルに「I’m not sure（自信がない）」を言わせるための訓練法。正式には RLCR (Reinforcement Learning with Calibration Rewards) と呼ばれます。
ざっくり言うと、この方法は「AIの答えが正しいか」だけでなく、AIが自分の答えにどれだけ自信を持っているかも学習させます。しかも面白いのは、精度を犠牲にしていないこと。むしろ、実験では自信の付き方が大幅に改善し、タスクによっては精度まで上がったそうです。これはかなり重要です。というのも、AIの問題は「間違えること」そのものより、間違っているのに妙に堂々としていることだからです。
近年のreasoning model（推論型モデル）は、めちゃくちゃ賢く見えます。ですが、その「賢そうに見える」ことが厄介なんです。MITの研究者たちによると、こうしたモデルは、正解かどうかに関係なく、いつも同じ温度感で答える傾向があるとのこと。
原因は、最近のAI学習でよく使われる reinforcement learning（RL） の仕組みにあります。
RLでは、ざっくり言えば、
という学習をします。
一見わかりやすいのですが、ここに落とし穴があります。
「慎重に考えて正解した答え」と「たまたま当たった答え」が同じ扱いになってしまうんです。
これ、AIからするとかなり雑な採点です。人間なら「うーん、自信ないけど一応これかな」と「これはかなり確からしい」を区別したくなりますが、従来のRLはその差をあまり見ていません。結果として、AIは不確かなときでも、とりあえず断言する方向に学んでしまう。研究者の言い方を借りるなら、AIは「わからないときに guess する」ようになってしまうわけです。
個人的には、ここがこの研究のいちばん面白いところだと思います。AIの問題って、能力不足だけじゃなくて、態度のまずさでもあるんですよね。能力が高くても、出力の仕方が雑だと実用性が落ちる。まさにそこを突いています。
RLCRの工夫はシンプルです。
報酬関数に Brier score を足しました。
Brier score というのは、「自信の数字」と「実際の当たり具合」のズレを測る指標です。たとえばAIが「95%自信がある」と言ったのに、実際は半分しか当たらないなら、そのズレは大きい。逆に、自信の値と実際の正確さが近ければ、calibration（較正）が良いと言えます。
つまりRLCRは、AIにこう教えるようなものです。
このバランス感覚が大事です。
AIがいつも「たぶん…」「一応…」ばかりでは使いにくいし、逆に何でも断言するのも危険。その中間の、ちゃんと考えたうえでの自信を作ろうとしているのがRLCRです。
研究チームは、7-billion-parameter model（70億パラメータ級のモデル）で実験しました。
対象はquestion-answeringやmathのベンチマークで、しかも 学習に使っていない6つのデータセットも含まれていたそうです。
結果はかなりはっきりしていました。
これ、地味にすごいです。
AI研究では「精度が上がったけど、自信の出し方は悪化した」という話は珍しくありません。むしろ、性能を上げようとすると自信過剰になることすらある。MITの研究は、その流れに対してかなりきれいな反証を示しています。
研究者のIsha Puri氏が言うように、普通のRLは「calibrationを助けない」どころか、積極的に傷つけることがある。これが本当に厄介で、AIがより高性能になるほど、より危うく自信満々になるという皮肉な状況が起きるわけです。
これは単なる学術的な話ではありません。
MITの説明でも触れられている通り、医療、法律、金融のような分野では、AIの出力を見て人間が判断を下します。
ここでAIが「95%自信あります」と言ったら、人はつい信じたくなる。
でも実際には、そこまで当たっていないかもしれない。そうなると、間違いを見抜く手がかりがなくなるんです。
ここが本質だと思います。
AIの危険性は、ただの誤答よりも、誤答に気づけないことにある。
「わかりません」と言えるAIは、少なくとも人間に再確認の余地を与えます。これはすごく大きいです。
個人的には、これからのAIで本当に重要なのは「答えの強さ」よりも、答えの信頼度の品質ではないかと思います。強い言い切りは気持ちいいですが、実務ではむしろ邪魔になることも多い。とくに専門領域では、強い断言より「ここは不確かです」のほうが価値を持つ場面が多いはずです。
この研究の良さは、アイデアが割と素直なことです。
AIに「不確かなら黙れ」と言うのではなく、不確かさを出力すること自体を学習目標に入れる。この発想はとても自然ですし、だからこそ強い。
しかも、研究チームは理論的にも、こうした報酬設計が精度とcalibrationの両立につながることを示したとのこと。
単なる小手先の改善ではなく、ちゃんと筋の通った方法だというのが好印象です。
さらに面白いのは、RLCRで出てきたconfidence estimate（自信の数値）が、実際の推論時にも役立つ点です。たとえば複数の候補答えを生成したとき、いちばん自信の高いものを選ぶ、あるいは confidenceで重み付けして多数決すると、精度とcalibrationが改善するそうです。
つまりRLCRは、学習時だけの工夫ではなく、使う側にもメリットがあるということです。これは実装面でもかなり魅力があります。
研究ではもうひとつ興味深い結果がありました。
モデルの出力に含まれる explicit uncertainty reasoning（不確かさについての明示的な推論） を使うと、別の分類器の性能が上がったそうです。特に小さいモデルで効果が大きかったとのこと。
これはつまり、AIが「自信がある／ない」をただ数値で出すだけでなく、なぜ不確かだと思うのかを考えるプロセスそのものに情報がある、ということです。
単なる飾りではなく、そこに実際の価値がある。これはかなり示唆的です。
私としては、この点がかなり好きです。AIの出力って、答えだけに注目しがちですが、実は「答えに至るまでの迷い」や「確信の度合い」にこそ、人間が使える情報が埋まっていることがある。RLCRはその部分を正面から扱っています。
MITのこの研究は、AIを「もっと強くする」話であると同時に、「もっと正直にする」話でもあります。
性能競争が激しいAIの世界では、どうしても「当たるかどうか」に目が行きがちですが、実際の現場ではどれくらい信頼できるかのほうが重要なことも多いです。
「自信満々に間違うAI」より、「不確かなときに不確かと言えるAI」のほうが、ずっと人間に優しい。
当たり前のようでいて、これまでは意外とできていなかった。そこにMITは、かなりきれいな解決策を提示したように見えます。
個人的には、これは「AIの賢さ」を測る物差しが一段進んだニュースだと思います。
これからは、正解率だけでなく、どれだけちゃんと迷えるかも、AIの実力として見られるようになるかもしれません。
