彼らのサイト： https://moz.com/help/moz-procedures/crawlers/dotbot
DotBot is 何
Mozという所のクローラ。
サイトを見る感じでは、SEOツールを売っている。クロールしてSEOに必要な情報を集めているのだろう。
秒間1回の頻度でアクセスしてきていた。
robot.txtでDotBotをブロックする方法
User-agent: dotbot
Disallow: /
DotBot
2022/10/10 20:46:00
MJ12botとDotBotのクロールをrobot.txtで拒否
2022/10/13 7:48:00
2022年10月10日
なんか『t_wの輪郭』のアクセス数が急増している。アクセス数が2倍ぐらい。DoSか？
nginxのログをみる感じでは、MJ12bot（MJ12bot/v1.4.8） と DotBot（DotBot/1.2） が結構アクセスしてきている。
SemrushBotと同様に、robot.txtで拒否して終わり！明日になったら結果を見る。
User-agent: SemrushBot
User-agent: dotbot
User-agent: MJ12bot
Disallow: /
2022年10月13日
アクセス数が激減していることを確認した。nginxのログでも、MJ12bot と DotBotのアクセスが無くなっている。
