#web

Amazonのクローラー「Amazonbot」が、robots.txt をちゃんと見るようになった、という話題 これでサイト運営者は、Amazonbotに来てほしい／来てほしくない をよりはっきり制御しやすくなる 元記事の筆者は、ちょっと皮肉まじりに「Amazon、やっとビジネスモデルが成立したね」と書いていて、かなり笑える 一方で、記事本文の中身は非常に短く、実質的には“サイト側の防御が効いている” ことを示す画面が中心 背景として、最近のWebはボット対策がどんどん重要になっていて、robots.txt はその基本ルールのひとつ 元記事のタイトルは 「Amazonbot is finally respecting robots.txt」。 つまり、Amazonが運用しているボット「Amazonbot」が、ウェブサイト側の指示をまとめた robots.txt をようやく尊重するようになった、という報告です。 robots.txt は、サイトの持ち主が「このページは巡回しないで」「この場所は見てもいいよ」と、検索エンジンや各種ボットに伝え

元記事は、GoogleがSearchを「リンク集」から「加工済みの答え」へ寄せている、と強く批判している その象徴が `AI Overviews`。検索結果の上にAIが要約を出す仕組みで、著者は「Webの文脈や出典を消している」と見る これは単なるUI変更ではなく、Webの上にGoogleが管理する新しい抽象層を載せる動きだ、というのが記事の核心 著者は、サイトや作品が「文化的な共有物」ではなく、Googleの生成文の“材料”にされることを問題視している 対抗策として、別の検索エンジンを使う、Chromeをやめるなど、Google依存を減らす必要があると訴えている Smashing Frames の tante さんの記事は、かなり辛口です。 ひとことで言うと、GoogleがWebそのものに“戦争”を仕掛けている、という主張です。もちろんこれは比喩ですが、言いたいことははっきりしています。 昔の検索は、気になることを調べるといくつかのリンクを見せて、そこから自分で選ばせる仕組みでした。 ところが今のGoogleは、`AI Overviews` のように、検索結果