SemrushBotからのアクセスを拒否する設定にした。
robots.txtに下記の設定を追加したところ、SemrushBotはrobots.txt以外にはアクセスしなくなった。
User-agent: SemrushBot
Disallow: /
SemrushBot
2022/8/11 17:19:00
MJ12botとDotBotのクロールをrobot.txtで拒否
2022/10/13 7:48:00
2022年10月10日
なんか『t_wの輪郭』のアクセス数が急増している。アクセス数が2倍ぐらい。DoSか？
nginxのログをみる感じでは、MJ12bot（MJ12bot/v1.4.8） と DotBot（DotBot/1.2） が結構アクセスしてきている。
SemrushBotと同様に、robot.txtで拒否して終わり！明日になったら結果を見る。
User-agent: SemrushBot
User-agent: dotbot
User-agent: MJ12bot
Disallow: /
2022年10月13日
アクセス数が激減していることを確認した。nginxのログでも、MJ12bot と DotBotのアクセスが無くなっている。
