#hallucination

GPTZeroが、Ernst & Young Canada（EY Canada）のサイバーセキュリティ報告書を調査し、大量の偽引用・壊れたURL・不正確な記述を見つけた 問題になったのは、2025年の報告書 “Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems” 参考文献の多くが実在しない、またはリンク切れだった 本文中にも矛盾する数字や出典の食い違いがあり、AIがそれっぽく作った文章の特徴が見られた こうした「vibe citing（雰囲気で引用を作ること）」は、研究や報道、AI検索の信頼性を静かに壊す可能性がある いったん公開された誤情報は、ネット上の“知識の材料”として再利用され、次の誤りを生むのが厄介 GPTZeroが公開したのは、EY Canadaのレポートに含まれる“hallucinations”、つまりAIっぽい生成ミスの調査です。 ここでいう hallucination は、AIが**本当は存在しない情報を、もっともらしく作

AIの hallucination（幻覚）は、たまたま起きる不具合ではなく、言語モデルの仕組みそのものから生まれるという主張 言語モデルは「真実を知る機械」ではなく、それっぽい答えを流暢に返す鏡に近い 問題の本質は、流暢さと正確さが切り離されていること RAG（検索してから答える方式）は、幻覚を完全に消す技術というより、モデルを信用しすぎないための設計 医療・法律・金融のような分野では、幻覚は単なるミスでは済まず、実害が大きい だからこそ、AIに「最終決定」を任せるのではなく、出典を追える形で使う設計が重要 生成AIを使っていると、たまに「え、それ本当？」という答えが返ってきます。しかも厄介なのは、その答えがめちゃくちゃ自然な文章で出てくることです。 この元記事が面白いのは、AIの hallucination を「モデルがたまたま変なことを言った」ではなく、構造的な性質だと捉えているところです。 つまり、いまの言語モデルは「うっかりミスをする機械」ではなく、そもそも真実そのものを保証するようには作られていない、とい