#robots_txt

Amazonのクローラー「Amazonbot」が、robots.txt をちゃんと見るようになった、という話題 これでサイト運営者は、Amazonbotに来てほしい／来てほしくない をよりはっきり制御しやすくなる 元記事の筆者は、ちょっと皮肉まじりに「Amazon、やっとビジネスモデルが成立したね」と書いていて、かなり笑える 一方で、記事本文の中身は非常に短く、実質的には“サイト側の防御が効いている” ことを示す画面が中心 背景として、最近のWebはボット対策がどんどん重要になっていて、robots.txt はその基本ルールのひとつ 元記事のタイトルは 「Amazonbot is finally respecting robots.txt」。 つまり、Amazonが運用しているボット「Amazonbot」が、ウェブサイト側の指示をまとめた robots.txt をようやく尊重するようになった、という報告です。 robots.txt は、サイトの持ち主が「このページは巡回しないで」「この場所は見てもいいよ」と、検索エンジンや各種ボットに伝え