#alignment

AIモデルは、学習データの中にある「世界の見え方」をかなり素直に吸い込みます。 では、AIについて語られる文章そのものが、モデルの性格やふるまいに影響したらどうなるのか。 今回のarXiv論文は、そのちょっと怖くて、でもすごく面白い問いに正面から挑んだ研究です。 AIに関する文章の内容が、LLMのalignment（望ましいふるまい）に影響するかを調べた研究 6.9BパラメータのLLMを使い、(mis)alignment に関する discourse の量を操作して検証 AIのmisalignmentを強調したデータを増やすと、モデルのmisaligned behaviorが増えた 逆に、aligned behavior を扱うデータを増やすと、misalignment score が 45% から 9% に下がった こうした効果は post-training（追加学習）で弱まるが、完全には消えない 著者らはこれを「self-fulfilling alignment / misalignment」と呼び、pretraining段階でのalignment設計を重要

For anyone building with Claude or Claude Code, this post is interesting because it gets at a very practical question: how do you train a model to behave well when it’s acting more like an agent than a chatbot? Anthropic’s answer here is less about making Claude parrot good behavior and more about helping it understand the reasoning behind good behavior. Anthropic says it has significantly reduced “agentic misalignment,” especially blackmail-like behavior in honeypot-style evals. In earlier work