#自然言語処理

大きな context window は、記憶そのものではない それは「一時的に広い机」を持っているようなもので、セッションが終われば消える 以前の会話を毎回ぜんぶ送り直すやり方は、長くなるほど重く、遅くなる Retrieval は「必要な資料だけを本棚から持ってくる」仕組み Compression は中身をなるべく保ったまま、入力を小さくする工夫 Summarization は要点だけ残す方法で、元データは別に保存しておくのが安全 AIエージェントを作るときは、モデルに全部覚えさせるより、DBや検索の役割を分けるほうがうまくいく 元記事の主張はかなり明快です。 context window が大きいことと、memory があることは別物だ、という話です。 ここでいう context window は、AIモデルが一度に読める文章量の上限です。 人間でいうと「机の上に広げて見られる書類の量」に近い。広ければ広いほど便利そうですが、だからといって「その机が記憶装置になる」わけではありません。 著者のたとえがわかりやすいです。 巨大な机を買って、ファイルキャビネット

家のことを聞ける chatbot を作るために、質問をまずカテゴリ分けしている その分類を、わずか 0.6B パラメータの local LLM にやらせているのが実験の肝 ふつうの prompting だけでは精度が低く、fine-tuning で一気に改善した さらに、カテゴリ名そのものではなく短いコードに変えたら、精度がもう一段上がった ただし「water heater」と「pool」みたいな、水っぽい意味のかぶりはまだ苦手 大きいモデルを何でも屋にするより、小さいモデルに仕事を絞って任せる発想がかなり実用的だと思う 家庭内の質問に答える chatbot を作る、という発想自体がまず楽しいです。 「この部屋のエアコン、いつ替えたっけ？」とか「この前、プールのポンプを直したのはいつだっけ？」みたいな、生活の中の細かい記憶を引っ張り出してくれる相棒ですね。記事では、こうした家庭の知識を RAG で持たせています。RAG というのは、LLM が記憶だけで答えるのではなく、外部のデータベースを検索して、その結果を見ながら答える仕組みです。検索エンジン付きの賢い返事、という理解でだいたい合っ