t_wの輪郭

急に輪郭が作成されてドキドキしている。自分で書いた輪郭だけとはいえ、勝手にデライトをクロール（というかスクレイピング？）して転載しているので、ちょっと後ろめたいところがある。転載禁止を言い渡されたら消すしかない。

ありがたいですとのお返事をいただいた。安心した。

彼らのサイト： https://mj12bot.com/

MJ12bot is 何

Majesticという被リンク検索システム（SEOツール？）に使用するデータを集めるクローラ。
2秒に1回の頻度でアクセスしてきていた。

robot.txtでMJ12botをブロックする方法

User-agent: MJ12bot
Disallow: / 

彼らのサイト： https://moz.com/help/moz-procedures/crawlers/dotbot

DotBot is 何

Mozという所のクローラ。
サイトを見る感じでは、SEOツールを売っている。クロールしてSEOに必要な情報を集めているのだろう。
秒間1回の頻度でアクセスしてきていた。

robot.txtでDotBotをブロックする方法

User-agent: dotbot
Disallow: /

　『t_wの輪郭』にUser-Agentが下記のアクセスがちょいちょい来ていた。Date last visitedが乱れてちょっと気になる程度の頻度。

• Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36

　内部リンクが無いはずの所にアクセスしており、足跡が妙なため、nginxのログを見たら、なぜか律儀にrobot.txtにアクセスしている。

　熱心な読者が来てくれているとぬか喜びしてしまった。

　しかしまあ、輩と書いてしまったが、User-Agent以外はお行儀が良い。

　クロールする際に日時を取得していたが、日時をparseしてtimestampにする際にJSTではなくUTCでparseしてしまっていた。
　「DBに保存されている輪郭の編集日時をJSTに補正」、「クローラが日時をJSTでパースするように改修」によって対処した。
　最初、JavaScriptのDateモジュールでタイムゾーンを指定すれば治るかと思っていろいろ調べてしまった。

hogehoge site:http://scrapbox.ioでよくググるので、Scrapboxだけ検索するWebサービスとかあれば面白かろうかと思うのだけど、作るには色々重たすぎるし、流行ればアビューズされるし、クロールすればScrapboxに負荷かけちゃうかもだしなどと考えてる