#hallucination

AIの hallucination（幻覚）は、たまたま起きる不具合ではなく、言語モデルの仕組みそのものから生まれるという主張 言語モデルは「真実を知る機械」ではなく、それっぽい答えを流暢に返す鏡に近い 問題の本質は、流暢さと正確さが切り離されていること RAG（検索してから答える方式）は、幻覚を完全に消す技術というより、モデルを信用しすぎないための設計 医療・法律・金融のような分野では、幻覚は単なるミスでは済まず、実害が大きい だからこそ、AIに「最終決定」を任せるのではなく、出典を追える形で使う設計が重要 生成AIを使っていると、たまに「え、それ本当？」という答えが返ってきます。しかも厄介なのは、その答えがめちゃくちゃ自然な文章で出てくることです。 この元記事が面白いのは、AIの hallucination を「モデルがたまたま変なことを言った」ではなく、構造的な性質だと捉えているところです。 つまり、いまの言語モデルは「うっかりミスをする機械」ではなく、そもそも真実そのものを保証するようには作られていない、とい