Linuxの公開基盤がAIクローラーで消耗している話
Linuxの開発基盤を運営する Konstantin Ryabitsev が、AIクローラーによる負荷の実態をかなり具体的に語っています。単なる愚痴ではなく、どれだけCPUを食われているのか、どんな対策をして、なぜそれでも追いつかないのかが数字付きで示されているのが重いところです。しかも問題は「アクセスが多い」では済まず、公開されているはずの技術情報が、学習用データを集める側の都合で無駄に消費されている点にあります。今この話を読む意味は、AI時代の“便利な公開”がそのまま“採取し放題”になっている現実が、かなりはっきり見えるからです。 元記事でまず示されるのは、git.kernel.org に来る “AI crawlers” の負荷が、もはや軽い迷惑ではなく、継続的なシステム負荷になっているという事実です。著者によれば、今は「スクレイパーのために commit を HTML にレンダリングする CPU サイクル」のほうが、git clone を含む他の正当なアクセスより多く使われています。5つの地理的に分散したノード全体では、常時14コアが commit の HTML 化だけに張り付い
papoo.work