User-Agentを一般のコンピュータに偽装してクロールする輩2022/10/25 19:45:00 『t_wの輪郭』にUser-Agentが下記のアクセスがちょいちょい来ていた。Date last visitedが乱れてちょっと気になる程度の頻度。 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36 内部リンクが無いはずの所にアクセスしており、足跡が妙なため、nginxのログを見たら、なぜか律儀にrobot.txtにアクセスしている。 熱心な読者が来てくれているとぬか喜びしてしまった。 しかしまあ、輩と書いてしまったが、User-Agent以外はお行儀が良い。