PaPoo
cover
technews
Author
technews
世界の技術ニュースをリアルタイムでキャッチし、日本語でわかりやすく発信。AI・半導体・スタートアップから規制動向まで、グローバルテックシーンの「今」をお届けします。

LLMは「順番」をどう覚えるのか――位置埋め込みをほどく

大規模言語モデルは、単語そのものだけでなく「どこに置かれたか」も扱わないと文章を理解できません。この記事は、その位置情報をLLMがどう持たせているのかを、古典的な learned absolute embeddings から RoPE までたどり直す内容でした。今この話を取り上げる意味は、近年のLLMが同じTransformer系でも位置の持たせ方をかなり変えており、その違いがコンテキスト長や性能の癖に直結しているからです。地味な部品に見えますが、実際にはかなり本質的です。

GPT-2の「足し算」と、MiniMax-M3の「回し方」

元記事はまず、LLMの中で位置情報がどこに入るかを全体像から説明していました。入力テキストは tokenizer によって token ID に変換され、その ID が token embedding layer でベクトルになる。そこへ transformer blocks が attention と feedforward を通して処理を重ね、最後に出力層が次の token の logits を返します。

位置の扱い方はモデルによって違います。GPT-2 のような古典的なモデルでは、各 token の embedding に「その位置専用のベクトル」を足し合わせます。つまり、0番目、1番目、2番目……という位置ごとに、学習で得た embedding table を持っていて、token embedding と同じ次元の位置ベクトルを加える。記事内のコード例でも、tok_emb と pos_emb を別々に引いてから x = tok_embeds + pos_embeds としていました。これが absolute positional embedding です。GPT-2 では 1,024 個の learned position vectors があり、少なくともその範囲でしか動きません。コンテキストを延ばしたければ、位置埋め込み側も拡張が必要になる、という話です。

一方で、より新しい例として挙げられていた MiniMax-M3 は、位置情報を入力の最初に足すのではなく、各 transformer block の attention 内部で RoPE を使って組み込みます。RoPE は relative positional embedding として説明されていて、token の位置同士の相対関係を attention の計算に反映させる方法です。記事は、これを含めて modern LLMs の位置表現を一通り整理していました。

さらに面白いのは、位置情報がなくてもある程度は順番を見分けられる、という指摘です。たとえば causal mask を使う GPT 系モデルでは、各 token は自分より前の token だけを参照できます。だから、「The red fox jumps over the gray fox.」と「The gray fox jumps over the red fox.」のように語順が変わると、jumps が見られる文脈が変わります。ただし、この仕組みだけでは「1つ前」と「10個前」の距離の違いまでは分かりません。そこで explicit な positional encoding が必要になる、というのが記事の主張でした。

位置埋め込みは“順番”だけでなく“距離感”を渡している

僕がまず引っかかったのは、位置埋め込みの役割が「並び順の付与」だけではない、という点です。LLMを初めて触ると、位置情報は単に“左から何番目か”を教えるだけに見えがちです。でも記事が丁寧に示していたのは、causal mask だけでは「何個離れているか」は伝わらない、ということでした。これはかなり重要です。文脈の中で隣接している単語と、遠く離れた単語では、関係の濃さが違う。人間なら自然に感じるその差を、モデルにどう渡すかが位置表現の仕事になります。だから learned absolute embeddings でも RoPE でも、単なるラベルではなく、距離の手がかりを内部表現に差し込んでいるわけです。

この視点で見ると、RoPE が支持される理由も少し見えます。絶対位置をそのまま持つ方式は分かりやすい反面、学習時の長さを超えると扱いが苦しくなりやすい。対して relative 系は、位置そのものより「関係」を強く意識しているので、長い文脈に強い設計思想と相性がいい。もちろん万能ではないはずですが、近年の open-weight モデルが RoPE を採る流れには、単なる流行以上の必然があると思います。長文化したプロンプトや長いコードを扱う用途が増えた以上、位置の設計が実用上の差になっているからです。

「位置を足す」か「位置を計算に混ぜる」かで、モデルの性格が変わる

記事を読んでいて、位置埋め込みの違いは実装上の好みではなく、モデルの性格そのものを変えると感じました。GPT-2 型は、入力時点で token と position を一つのベクトルに混ぜ、それを後段の transformer に渡します。これは素直で、実装も追いやすい。一方 RoPE のように attention の内部へ入れる方式は、位置情報を「どの token がどの token をどう見るか」という計算そのものに浸透させます。つまり、前処理で位置を持たせるのか、推論の途中で位置を作用させるのか、という違いです。

この差は、モデルの挙動の解釈にも影響すると思います。前者は「入力表現の一部として位置を抱える」感じで、後者は「関係性を計算する時に位置が効く」感じに近い。後者のほうが、注意機構の中で相対関係を扱いやすいので、長さの変化に柔軟な印象があります。もちろん、どちらが常に優れているとは言えません。学習のしやすさ、移植性、既存実装との互換性も効いてくるからです。ただ、最近のモデル設計が RoPE へ寄っているのを見ると、設計者たちは「位置は単なる付録ではなく、attention の中核で扱うべきもの」と考えているのではないかと思いました。

1,024個の位置しか持てない、という古さが見える

GPT-2 の例で示された「1,024 learned position vectors」という数字も印象的でした。今の感覚だと、これはかなり小さいです。もちろん当時の用途では十分だったのでしょうが、いまやLLMは長い資料、会話履歴、コードベース、論文まで一気に飲み込む方向へ進んでいます。そうすると、位置表現の上限はすぐにボトルネックになります。単に長い入力を受け取れるかどうかだけでなく、長い入力の中で前後関係をどこまで維持できるかが問われるからです。

ここで大事なのは、コンテキスト長の問題を「メモリ容量」だけで見ないことだと思います。位置埋め込みが短い範囲に閉じていると、長い文書を扱うときにモデルの内部表現が急に粗くなる可能性があります。見た目には入力できても、モデルが本当に理解しているかは別です。だから、recent open LLMs がどの positional method を採っているかを確認することには意味がある。元記事が 2026 の open-weight models を横断して整理していたのも、その流れの中にあります。モデル名の流行を追うだけでは見えない、設計の流れがあるからです。

こういう説明記事が今あらためて必要になる理由

最後に、この記事自体の価値について触れておきたいです。位置埋め込みの話は、普段は脇役に見えます。ところが、LLMの性能差やコンテキスト長の扱い、さらには新しいアーキテクチャの採用理由まで掘ると、かなり中心的な話題になります。特に、GPT系の learned absolute embeddings と、RoPE のようなより新しい手法を同じ土俵で見比べられる記事は、実はあまり多くありません。元記事が数式とPyTorchの断片まで使って説明していたのは、単に親切だからではなく、ここを曖昧にしたままだと後続の記事の理解が全部ぼやけるからでしょう。

僕は、この種の説明を読んでおくと、今後のLLM比較がかなり楽になると思います。新しいモデルが出たとき、「何層あるか」「パラメータが何億か」だけでなく、「位置をどう持っているか」を見る癖がつくからです。それは、モデルの得意不得意を見抜くための目線でもあります。順番に弱いのか、長文で崩れるのか、既存文脈の距離感に強いのか。そうした違いは、位置表現を見ないと見落としやすい。地味だけれど、かなり効く話だと思います。


参考: Understanding Positional Embeddings in Modern LLMs

同じ著者の記事