Fortuneの記事が面白いのは、AIの危険性を「モデルが危ないことを言うかどうか」だけで終わらせていないところです。
White Circleの創業者 Denis Shilov が問題視しているのは、AIを企業の業務に組み込んだあと、実際に何が起きるのか。ここが本丸です。
きっかけのひとつが、Shilov が2024年後半に思いついたという universal jailbreak です。
これは、ざっくり言うとどのAIモデルにも効く“抜け道の指示文” のようなもの。AIに「安全ルールを守るチャットボットではなく、ただのAPI endpointとして振る舞え」と伝えると、危険な質問にも答えてしまった、という話です。
API endpoint というのは、簡単に言えば外部からの要求を受け取って返答する機械的な窓口のこと。
AIに「考えて断る存在」ではなく「入力を受けて返すだけの部品」として振る舞わせると、ガードレールをすり抜けやすくなる。ここはかなり怖い話です。というより、ちょっとぞっとします。
White Circleは、企業のユーザーとAIモデルのあいだに入って、やり取りをリアルタイムでチェックするソフトウェアを作っています。
イメージとしては、AIの前に立つ門番です。
ユーザーが危険な依頼をしたら止める。
AIが怪しい返答をしたらブロックする。
入力だけでなく出力も見て、会社ごとのルールに反していないかを監視する。
この発想はかなり実務的で、私はかなり筋がいいと思います。
White Circleによると、この仕組みはたとえば以下のような問題を防ぐためのものです。
つまり、「AIが変なことを言う」ではなく、AIが業務の中で変な行動をするのを止める仕組みです。
ここは、いかにも今っぽい問題です。ChatGPTのような雑談AIの時代から、コードを書いたり、Webを見たり、ファイルに触ったりする AI agents の時代に移ったことで、事故の種類も一気に増えました。
White Circleは今回、1100万ドルのseed funding を調達しました。
seed funding は、スタートアップが最初期に受ける資金調達のことです。まだ本格的な大型成長前の、いわば「育てるためのお金」です。
注目すべきは、出資者の顔ぶれです。
このラインナップ、かなり強いです。
AIの最前線にいる人たちが「この領域は必要だ」と見ているわけで、White Circleのテーマが単なる脇役ではないことがわかります。
率直に言って、こういう支援者がつく時点で「業界内でも相当気にされている問題なんだな」と感じます。
資金は、チーム拡大、製品開発の加速、そして米国・英国・欧州での顧客拡大に使うとのこと。
現在のチームは20人ほどで、そのほとんどがエンジニアだそうです。かなり技術寄りの会社ですね。
この記事の一番重要なポイントは、AIの安全性はモデルを作る段階だけでは完結しない、という考え方です。
これまでは、AIの安全対策といえば主に、
といった話が中心でした。
でもWhite Circleは、そこに足りないものがあると言っています。
それは、企業ごとの環境で、AIに何をさせてよいかを細かく定義し、実行時に守らせることです。
たとえば：
つまり、「OpenAIが安全にしたから大丈夫」ではなく、「自社の製品の中で何を許すか」を自社が管理する必要があるという話です。
これは地味ですが、かなり本質的だと思います。
Shilov は、AI企業にも事情があると指摘しています。
たとえば、AI企業は危険な依頼を拒否した場合でも、入力や出力のtokenに対して料金を取ることがあるそうです。
token は、AIが文章を処理する単位のこと。細かい文字のかたまりみたいなものだと思えばOKです。
つまり、危険な依頼をブロックしても、ビジネス上の損得が単純ではない。
さらに、AIをより安全に訓練すると、コード生成などの性能が少し落ちることがある。これは alignment tax と呼ばれます。
簡単に言うと、安全に寄せるほど、別の性能が少し犠牲になることがあるという考え方です。
この話、かなりリアルです。
安全第一と言うのは簡単ですが、プロダクトとして売る以上、「使いにくくなるならどうするの？」という問題は避けられません。
White Circleはその隙間を埋める会社だ、というわけです。
White Circleは、単なるプロダクト会社ではなく研究にも力を入れています。
その代表例が KillBench です。
これは、OpenAI、Google、Anthropic、xAI などのモデルを含む15のAIモデルに対して、人命に関わる選択をどう行うか を1百万回以上実験した研究だそうです。
実験では、架空の2人のどちらを選ぶかという状況をAIに与え、
片方が死ななければならない場面で、国籍、宗教、体型、携帯電話のブランドなどを変えながら反応を比較しました。
その結果、一見ニュートラルに見えるモデルでも、属性によって選択が変わる ことが示された、とWhite Circleは主張しています。
つまり、普段の会話では見えにくい偏りが、高いリスクの場面で顔を出す可能性があるということです。
さらに、AIに固定選択式やフォーム入力のような、ソフトウェアが読み取りやすい形式で答えさせると、その影響がより強くなったともしています。
これも重要です。というのも、企業システムではAIの出力をそのまま人間が読むのではなく、機械が読める形で業務処理に組み込む ことが多いからです。
この研究が面白いのは、AIの偏りを「理論上の問題」ではなく、製品に組み込まれたときにどう危険になるか という形で示していることです。
個人的には、ここがかなり今っぽいし、実務に効く視点だと思います。
White Circleの動きから見えるのは、AI安全の重心が少しずつ変わっていることです。
昔は、AIを安全にするには「学習をがんばる」「大きなモデル会社が頑張る」が中心でした。
でも今は、実際のビジネスでAIを使う会社が増えているので、運用中の制御 が重要になっています。
つまり、これからのAI安全はこんな分業になるのではないかと思います。
White Circleは、この第三者のポジションを取りにいっている会社です。
これはかなり自然な流れですし、AIが業務に深く入るほど、こうした「制御レイヤー」は必要になっていくはずです。
正直に言うと、White Circleは「派手な生成AIアプリ」ではありません。
でも、こういう地味だけど絶対に必要になるインフラを作る会社は、あとから効いてくることが多いです。
AI業界はどうしても「どれだけ賢いか」「どれだけ大きいか」に注目が集まりがちですが、現場で本当に困るのは、もっと泥くさい問題です。
その意味でWhite Circleは、AIの“夢”というより、AIを現実に安全に使うための会社 だと言えます。
私はこういう方向性、かなり好きです。華やかさより実装力。こういう会社が増えると、AIはようやく本当の意味で企業の道具になるのではないでしょうか。
このニュースをひとことで言うなら、
「AIは作るだけでは足りず、使う現場で制御する時代に入った」 ということです。
モデルの性能競争はこれからも続くでしょう。
でも同時に、「そのAIをどう閉じ込め、どう監視し、どう止めるか」という競争も、確実に始まっています。
White Circleの調達は、その新しいレースの始まりを象徴するニュースだと思います。
参考: Exclusive: White Circle raises $11 million to stop AI models from going rogue | Fortune
