DotBot2022/10/10 20:46:00 彼らのサイト： https://moz.com/help/moz-procedures/crawlers/dotbot DotBot is 何Mozという所のクローラ。 サイトを見る感じでは、SEOツールを売っている。クロールしてSEOに必要な情報を集めているのだろう。 秒間1回の頻度でアクセスしてきていた。 robot.txtでDotBotをブロックする方法User-agent: dotbot Disallow: /
