#transformer

StanfordのCS336は、language modelをゼロから作ることを軸にした春学期の授業です。 ただ使い方を学ぶのではなく、データ収集・Transformer構築・学習・評価・配備前の検証まで一通りやるのが特徴です。 5-unitでかなり重め。Python力、PyTorch、deep learning、systemsの基礎が強く求められます。 課題は5本あり、Basics / Systems / Scaling / Data / Alignment and Reasoning RL と、かなり実戦的です。 2人の教員は Tatsunori Hashimoto 氏と Percy Liang 氏。内容の濃さからして、かなり本気の設計だと感じます。 Stanford CS336は、タイトル通りlanguage modeling from scratch、つまり「言語モデルを最初から作る」ことに挑む授業です。 ここでいう language model は、ChatGPTのような文章を理解・生成するAIの土台です。 最近

Transformer系のLLMは、長い文脈を扱うほど重くなりやすい この論文は、sleep-like consolidation（睡眠のような統合）という仕組みを提案している モデルは「起きている間」に予測し、「眠っている間」に過去の文脈を整理してfast weightsに保存する その結果、推論時の遅さを増やしすぎずに、長い文脈を扱いやすくする狙いがある 実験では、cellular automata、multi-hop graph retrieval、数学推論タスクで評価している とくに深い推論が必要な例で、sleep時間を増やすと性能が伸びた 大きな言語モデル、つまりLLMは、ここ数年でかなり賢くなりました。 ただし、万能というわけではありません。とくに長い文脈、つまり「前の会話」「長文の資料」「複数ステップの情報」をずっと覚えながら考えるのは苦手になりがちです。 その原因のひとつが、Transformerのattentionです。 attentionは「どの情報をどれだけ参照するか」を計算する仕組みですが、文脈が長くなるほど計算が重くなります。ざ

CODAは、Transformerの一部処理を GEMM + epilogue という形にまとめて実行するGPU kernel abstraction ねらいは、メモリを何度も往復する無駄を減らして、実行効率を上げること 特に normalization、activation、residual update、reduction など、計算量は少ないのにデータ移動が多い処理が対象 GEMM本体の流れは固定し、epilogue側に scaling、reductions、pairwise transformations、accumulation といった小さな部品を組み合わせる設計 標準的なTransformer blockの attention以外の前向き・逆伝播のほぼ全部 をカバーできる、と論文は主張している 人手でもLLMでも書ける設計で、しかも高性能が出るのが面白いところ Transformerと聞くと、みんなまず attention を思い浮かべると思います。実際、巨大なモデルの心臓部です。でもこの論文が面白いのは、**本丸そのものよ