Distill のこの記事「Visualizing Weights」は、ニューラルネットワークの weights をどう見るか に焦点を当てた解説です。
タイトルだけ見ると少し硬いですが、やっていることはかなり本質的です。
ニューラルネットワークを理解するのは、ざっくり言えば 巨大なバイナリをリバースエンジニアリングする のに似ている、というのが記事の出発点です。
このたとえがすごくうまい。モデルの挙動は見えても、「なぜそう動くのか」は簡単には分からない。で、そのとき重要になるのが weights だ、というわけです。
個人的には、AI の説明で activation ばかり見られがちなのに対して、weights をちゃんと見よう という姿勢はかなり筋がいいと思います。
activations は「その瞬間に何が起きたか」、weights は「どう計算するように作られているか」。この違いは地味ですが、理解の深さがかなり変わります。
記事では最初に、この3つを整理しています。
これは「ネットワークが何を見たか」に近いものです。
人間の言葉で言えば、中間層の各 neuron が今どんな値になっているか。
たとえるなら、プログラムの変数に入っている値です。
これは「前の layer から次の layer をどう計算するか」です。
プログラムでいえば、コンパイル後の命令列みたいなもの。
人間が直接読むには少し厄介だけど、仕組みそのものに近い。
これは「なぜその neuron が反応したのか」を推定する考え方です。
ただし記事も注意している通り、attributions は 人間が後から定義した概念 であって、モデルの根本要素そのものではありません。
意味が文脈で揺れやすいので、扱いには注意が必要です。
この整理、かなり大事です。AI の可視化って何でも「見える化」すればいいと思いがちですが、何を見ているのか を混同すると一気に話がぼやけるんですよね。
この記事の核心はここです。
weights を見るのは大事なのに、hidden layer の weights はそのままでは分かりにくい。理由は大きく3つあります。
first layer の weights は、RGB のように人間が意味を知っている入力と直結しているので見やすいです。
でも hidden layer になると、入力も出力も人間には普通わからない。
つまり、何と何をつないでいる重みなのかが分からない。
residual network のようなモデルでは、ある neuron の出力が遠くの layer にある neuron と、途中の足し算の経路で線形に影響し合うことがあります。
また、隣接していなくても intermediate neuron を介して意味のある関係があることもある。
なので、単純に「隣どうしだけ見ればいい」とはいきません。
weights は大量にあります。
人間の脳で一度に理解できる量を超えている。
だから、情報を圧縮して、見える形にする工夫 が必要です。
この3つ、実務でもめちゃくちゃ納得感があります。
「モデルが複雑だから難しい」のではなく、見方がまだ人間向けに整っていないから難しい、というのがポイントだと思います。
記事の最初の実践的な工夫は、one-sided NMF です。
NMF は Non-negative Matrix Factorization の略で、ざっくり言うと データをいくつかの“わかりやすい部品”に分解する方法 です。
one-sided NMF は、特に「入力チャネルが多すぎてそのままでは見づらい」場面で役立ちます。
たとえば convolutional network のある neuron の weights は、[width, height, input_channels] という形をしています。
first layer ならまだしも、input_channels が多いと、そのままでは人間の目に優しくない。
そこで NMF を使って 3 次元くらいに縮めると、RGB のように色で表現できるようになります。
この記事で面白いのは、ここで「すごく高度な理論」ではなく、まずちゃんと見えるようにする ところから始めていることです。
こういう地に足のついた可視化、かなり好きです。
この方法で見ると、neuron が 空間的なパターン を学んでいるのが分かることがあります。
たとえば、特定方向の線や帯のような形です。
記事では、InceptionV1 の後段で horizontal band（横帯） のような重みが現れる現象を紹介していて、これを weight banding と呼んでいます。
これはたぶん、ただグラフを綺麗にしただけでは見えない、かなり興味深い発見です。
「この layer、なんか帯っぽいな」で終わるのではなく、なぜそうなっているのか を考える入口になる。こういうのが interpretability の醍醐味だと思います。
ただし、weights を単体で見ても、それがネットワーク全体の中で何を意味するのかはまだ分かりません。
そこで使うのが feature visualization です。
feature visualization は、neuron がどんな入力に反応するかを画像として可視化する手法です。
簡単に言えば、「この neuron は何っぽいものが好きなのか」を見せてくれる自動生成の説明ラベル みたいなものです。
記事では、weights のグラフの中で input neuron や output neuron を feature visualization で表し、
「この重みは、こういう概念どうしをつないでいる」と読めるようにしています。
この発想はかなり重要です。
weights は単独では無味乾燥でも、**“この neuron は車輪っぽい”“こっちは曲線 detector っぽい”** と分かると、急に意味が生まれる。
要するに、weights に名前をつける作業なんですよね。人間が未知のプログラムを逆解析するとき、変数名を仮置きしていくのと似ています。
次に出てくるのが small multiples です。
これは、似た図を小さく並べて比較しやすくする手法です。
データ可視化では定番ですが、weights の世界でもかなり効きます。
neuron は入力が複数あります。
ひとつひとつ別々に見るのではなく、まとめて並べて見る と、共通点や違いが見えやすい。
さらに、関連する neuron の集まりどうしがどうつながるかを、グリッド状にまとめて見ることもできます。
これ、地味だけどかなり実用的だと思います。
機械学習の可視化って、つい「一発で本質が見える魔法」を期待しがちですが、実際にはこういう 比較しやすい整理術 が効くんですよね。
記事の後半では、weights の中でも特に 空間位置に対応する成分 をどう見るか、という話に進みます。
convolution の weights は relative x position, relative y position, input channels, output channels のような4次元配列です。
4次元はそのままでは見えません。
なので、ある input channel と output channel を固定して、2次元の図として取り出す。
さらに、その入力・出力が何を表しているのかを feature visualization で補う。
こうして初めて、「どこに対して、どんなパターンを拾っているのか」が見えてきます。
ここは、まさに記事全体の思想が出ている部分です。
見えないものを無理に見るのではなく、見える形に分解してから意味を与える。
この手つきが丁寧で、Distill らしいなと思いました。
私が特に面白いと思ったのは、この記事が単なる「可視化テクニック集」ではなく、
weights をどういう対象として理解すべきか をきちんと考えている点です。
多くの人は neural network を「入力したら出力が返る黒箱」として見ます。
でも実際には、その中にある weights は、かなり具体的な“計算の癖”を抱えています。
それを読み解くには、画像をきれいにするだけじゃ足りなくて、
この記事は、その設計の考え方をかなり真面目に示しています。
派手さはないですが、モデル解釈の実務に効く知恵 が詰まっている感じです。
Distill の「Visualizing Weights」は、ニューラルネットワークの weights を見るための方法を、
文脈づける、圧縮する、比較する という観点から整理した記事です。
特に大事なのは、weights は単独では意味が薄いけれど、
feature visualization や NMF、small multiples と組み合わせることで、
「どんな概念がどうつながっているのか」 をかなり具体的に読めるようになる、という点です。
個人的には、これは interpretability の中でもかなり誠実なアプローチだと思います。
「AIの心を読む」みたいな大げさな話ではなく、見えるものを増やして、少しずつ分かる範囲を広げる。
こういう積み上げ型の研究、私はかなり好きです。
