8GB VRAMのノートPCで学習し続ける小さなAGI、その狙いと限界
個人の手元にあるPCやノートPCで、最初から最後まで学習させ続ける言語モデルを作る——そんな実験がGitHubで公開されました。対象は `mini-AGI` というリポジトリで、作者はこれを「continual learning model」と呼んでいます。大げさな名前とは裏腹に、本人はかなり冷静で、まだ小さな実験段階だと明言しています。とはいえ、8GB VRAMのGPUしかない環境で、読み続け、学び続け、忘れにくいモデルをどう成立させるかという発想は、かなり面白いです。 `mini-AGI` は、byte-level の language model です。つまり、単語単位ではなく 256 個の byte 値をそのまま入力として扱い、トークナイザーを使いません。作者の説明では、モデルは「自分で構造を組み立てる」ように設計されていて、8GB VRAM の GPU を積んだPCや laptop で、ゼロから学習できることを狙っています。 重要なのは、学習を一度で終えるのではなく、データのストリームを少しずつ読みながら、そのたびに gradient step を進める点です。しかも推論用と
papoo.work