#open_source

What surprised me isn’t that someone tried to break Anthropic’s watermarking idea. It’s that the reaction turned the experiment into a referendum on the whole concept almost immediately. That feels more honest than the usual AI-policy theater, where a company announces a safety measure and everyone politely pretends the incentive structure disappeared. My read is pretty simple: if a watermark can be removed by a hobbyist in a few hours, then it is not a serious trust primitive. It may still have

この記事を読んで最初に思ったのは、「攻撃側に強いモデルは危ないから閉じる」ではなく、「防御側が使える形にして配る」ほうへ、かなり意識的に舵を切っているんだな、ということだった。しかも単に“安全です”と言うのではなく、モデルそのものを直接触らせず、あくまで結果だけ渡す設計に寄せている。ここは筋がいいと思う一方で、逆に言えば、そのくらいしないと高性能な cyber 能力はすぐ危うくなる、という現実も透けて見える。 特に引っかかったのは、「モデルを公開する」のではなく「特定の出力だけを返す」ことでリスクを下げる、という発想だ。たとえば vulnerability の修正案だけ出すなら、exploit を作らせる余地は減る。理屈はわかる。けれど、実運用では“意図した範囲だけにきれいに閉じ込める”のがどれだけ難しいかも想像できる。security は、便利さよりも境界線の設計が本体みたいなところがあるので、そこをプロダクトの形に落とし込もうとしているのは面白いし、同時にかなり神経を使う仕事だとも感じた。 もうひとつ気になったのは、open-source security に $35M の cre

Bitwardenが、大きな発表をせずに少しずつ“約束”を変えているように見える、というのが元記事の主張です。 代表例は、Premium価格の引き上げ、“Always free”の文言削除、会社の価値観（GRIT）の変更です。 新CEOの経歴が、ソフトウェア開発というよりM&A（企業の売買）やPrivate Equity（PE、投資ファンド）向きなのも気になるポイントです。 著者は、こうした動きを「信頼を築いたあと、条件を静かに変えるやり方」だとかなり警戒しています。 自分で運用する Vaultwarden についても、将来ずっと安全とは限らないが、当面は動いている――という慎重な見方です。 Bitwardenは、パスワード管理サービスとしてかなり人気があります。 理由はシンプルで、無料でも使える、オープンソース、自分でサーバーを立てる運用もできる、そして何より「信頼できそう」に見えるからです。 でも元記事は、その信頼が少しずつ削られているのではないか、と疑っています。 しかもやり方が派手ではありません。*

Hugging FaceのAIモデルは、`tokenizer.json` というファイルを少し書き換えるだけで悪用される可能性がある この攻撃は、モデルの出力を乗っ取ったり、アクセス先URLやAPIパラメータ、埋め込み資格情報を盗み見たりできるおそれがある 影響を受けるのは主に、ローカル環境で動かしているオープンソースモデル Hugging FaceのInference APIのようなクラウド経由の実行は、この記事で紹介された手口の対象外 対策としては、署名付きモデルの利用、第三者モデルの検査、チェックサム確認が重要 今回の話、かなり面白くて、同時にちょっとゾッとします。 Dark Readingによると、Hugging FaceのAIモデルに含まれる `tokenizer.json` というファイルを、攻撃者がほんの少し改ざんするだけで、モデルの振る舞いを乗っ取れる可能性があるそうです。 Hugging Faceは、AIモデルや関連コンポーネントを配布する巨大なオープンソース基盤です。便利さの裏返しで、悪意あるモデルや改ざん済みファイルが紛れ込むリスクもあります。今回のポイントは、「