robots.txt
2022/8/11 17:18:00
『生成AIの「URLを読む処理」について考えてみる。 - フジイユウジ::ドットネット』
2025/4/28 10:26:00
SemrushBotのアクセスを拒否
2022/10/10 20:41:00
SemrushBotからのアクセスを拒否する設定にした。
robots.txtに下記の設定を追加したところ、SemrushBotはrobots.txt以外にはアクセスしなくなった。
User-agent: SemrushBot
Disallow: /