t_wの輪郭

Feedlyでフォローするボタン
クローラークローラbot
MJ12botとDotBotのクロールをrobot.txtで拒否SemrushBotのアクセスを拒否

2022年10月10日

なんか『t_wの輪郭』のアクセス数が急増している。アクセス数が2倍ぐらい。DoSか？

nginxのログをみる感じでは、MJ12bot（MJ12bot/v1.4.8） と DotBot（DotBot/1.2） が結構アクセスしてきている。

SemrushBotと同様に、robot.txtで拒否して終わり！明日になったら結果を見る。 

User-agent: SemrushBot
User-agent: dotbot
User-agent: MJ12bot
Disallow: /

2022年10月13日

アクセス数が激減していることを確認した。nginxのログでも、MJ12bot と DotBotのアクセスが無くなっている。