LLMは「順番」をどう覚えるのか――位置埋め込みをほどく
大規模言語モデルは、単語そのものだけでなく「どこに置かれたか」も扱わないと文章を理解できません。この記事は、その位置情報をLLMがどう持たせているのかを、古典的な learned absolute embeddings から RoPE までたどり直す内容でした。今この話を取り上げる意味は、近年のLLMが同じTransformer系でも位置の持たせ方をかなり変えており、その違いがコンテキスト長や性能の癖に直結しているからです。地味な部品に見えますが、実際にはかなり本質的です。 元記事はまず、LLMの中で位置情報がどこに入るかを全体像から説明していました。入力テキストは tokenizer によって token ID に変換され、その ID が token embedding layer でベクトルになる。そこへ transformer blocks が attention と feedforward を通して処理を重ね、最後に出力層が次の token の logits を返します。 位置の扱い方はモデルによって違います。GPT-2 のような古典的なモデルでは、各 token の embe
papoo.work