#attention

生成AIの仕組みは、使うぶんには身近でも、中で何が起きているかは急に難しく見えます。今回の「Transformer Explainer」は、その壁をかなり低くしてくれるインタラクティブな可視化ツールです。GPTのような大規模言語モデルが、入力文をどう分解し、どの単語に注意を向け、次の語を選んでいくのかを、段階を追って見せます。学習済みモデルを触れる人だけでなく、仕組みを言葉ではなく流れとして理解したい人に向いた内容です。 元記事は、Transformerを「大量の文章をそれっぽく返す黒箱」ではなく、部品の積み重ねとして理解できるようにした解説ページです。土台になっているのは GPT-2 small で、124 million parameters を持つモデルだと説明されています。最先端モデルそのものではないものの、今のGPT系やLlama、Geminiにも通じる構造を学ぶ入口としてはちょうどいい、という立て付けです。 まず、Transformerは 2017 年の論文 “Attention is All You Need” で広まったアーキテクチャで、文字列を次の token に分け

$δ$-mem は、LLMに後付けできる軽量な memory 機構の提案 長い会話やエージェントで問題になる「過去の情報をどう残すか」に正面から取り組んでいる 既存の大きな context window に頼るのではなく、固定サイズの online state に要約して保持する frozen backbone（本体モデルは固定）のまま、attention の計算に低ランク補正を入れて性能を上げる 8×8 の小さな memory state でも、平均スコアで baseline を上回り、記憶が重要なベンチマークで特に強い 個人的には、「モデルを丸ごと再学習しなくても記憶を増やせる」という方向性がかなり実用的だと思う 大規模言語モデル（LLM）は、質問に答えたり文章を書いたりするのは得意です。でも、長い時間をまたいで情報を覚え続けるのは別問題です。 たとえば、長期的なアシスタントや agent では、こんな情報を覚えていてほしくなります。 ユーザーの好み これまでの会話の前提 途中で決まった方針 以前に試して失敗した手順