使っている側ほど、仕様変更の不親切さが刺さる
こういう「サーバー側でこっそり変わっていた」という話、読んでいていちばん胃が痛い。アプリを疑って、コードを疑って、最後に自分の確認ミスを疑って……その時間が丸ごと無駄になるからだ。しかも今回は、モデルの“effort scale”みたいな、挙動の解釈に直結する部分が変えられている。数字の見た目だけでなく、実際の出力の感じ方までずれるなら、現場ではかなり厄介だと思う。 気になったのは、これがA/B testっぽいことより、変更の説明が changelog に出ていないらしい点だ。実験自体はよくあるし、全部を事前に公開しない判断もあるのかもしれない。でも、少なくとも開発者向けのプロダクトで、モデルの“high”が突然“low”相当に見えるなら、そこは黙っていてほしくない。とくにコード補助みたいな用途だと、出力の強さや慎重さの変化は、バグというより体験そのものの崩れ方をするので、ユーザーはかなり振り回されるはずだ。 それにしても、こういう話を見ていると、LLMの「安定している」という感覚がいかに壊れやすいかを思い知らされる。モデル名が同じでも、中身は平気で揺れる。その前提で使え、ということな
papoo.work