#deep_learning

StanfordのCS336は、language modelをゼロから作ることを軸にした春学期の授業です。 ただ使い方を学ぶのではなく、データ収集・Transformer構築・学習・評価・配備前の検証まで一通りやるのが特徴です。 5-unitでかなり重め。Python力、PyTorch、deep learning、systemsの基礎が強く求められます。 課題は5本あり、Basics / Systems / Scaling / Data / Alignment and Reasoning RL と、かなり実戦的です。 2人の教員は Tatsunori Hashimoto 氏と Percy Liang 氏。内容の濃さからして、かなり本気の設計だと感じます。 Stanford CS336は、タイトル通りlanguage modeling from scratch、つまり「言語モデルを最初から作る」ことに挑む授業です。 ここでいう language model は、ChatGPTのような文章を理解・生成するAIの土台です。 最近

PyTorch Landscapeは、PyTorchまわりの技術やツールを整理して見渡せる「地図」のようなサイトです。 PyTorchは、機械学習や深層学習でよく使われる人気のフレームワークです。 こうしたLandscape系のサイトは、情報が多すぎる技術分野で「今どこに何があるか」をつかむのにとても便利です。 かなりシンプルなサイト名ですが、逆にそれが「まず全体像を見せる」ことに徹している感じで面白いと思います。 元記事の本文は実質的にサイト名だけで、詳細な説明はほとんどありません。 ただ、タイトルとURLから考えると、このサイトは PyTorchに関連する技術や周辺サービスを一覧できる“Landscape” だと考えるのが自然です。 「Landscape」という言葉は、ITの世界では「業界全体の見取り図」みたいな意味で使われることがよくあります。 つまり、単なるニュースサイトというよりは、PyTorchを中心にしたツール、ライブラリ、企業、サービスなどを俯瞰するための案内板、といった立ち位置ではないかと思います。 PyTorchは、ざっくり言うと **AIや機械学習のモデル

このリポジトリは、PyTorchモデルのHessian（ヘッシアン）行列の固有値・固有ベクトルを、できるだけ軽く計算するためのツール集です。 ただし「全体を巨大な行列として持つ」のではなく、Hessian-vector product（HVP）という仕組みを使って、メモリ消費を抑えながら近似的に計算します。 Lanczos法、stochastic power iteration、Hutch++、Stochastic Lanczos Quadrature など、線形代数のアルゴリズムが好きな人にはかなり刺さる内容です。 実用面では、通常のPyTorchモデルだけでなく、HuggingFace系のTransformerやTransformerLensにも対応しているのが面白いところです。 個人的には、深層学習の「学習後のモデルをどう見るか」を支える、かなり“渋いけど重要”なライブラリだと思います。 Hessianは、ざっくり言うと「損失関数の曲がり具合」を表す行列です。 たとえば、山の地形を想像してください。 坂が急なら曲がりが強いし、なだらかなら曲