#systems

StanfordのCS336は、language modelをゼロから作ることを軸にした春学期の授業です。 ただ使い方を学ぶのではなく、データ収集・Transformer構築・学習・評価・配備前の検証まで一通りやるのが特徴です。 5-unitでかなり重め。Python力、PyTorch、deep learning、systemsの基礎が強く求められます。 課題は5本あり、Basics / Systems / Scaling / Data / Alignment and Reasoning RL と、かなり実戦的です。 2人の教員は Tatsunori Hashimoto 氏と Percy Liang 氏。内容の濃さからして、かなり本気の設計だと感じます。 Stanford CS336は、タイトル通りlanguage modeling from scratch、つまり「言語モデルを最初から作る」ことに挑む授業です。 ここでいう language model は、ChatGPTのような文章を理解・生成するAIの土台です。 最近