t_wの輪郭

　User-Agentを一般のコンピュータに偽装してクロールする輩が来て気になったのだが、私が動かしてるデライトをクロールするクローラ（dlt_crawler.js）のUser-Agentは何になってるんだろう。Node.jsでgotを使っているので、gotになっているはず……？

　Node.jsでgotを使った際のUser-Agentはgot (https://github.com/sindresorhus/got)となっていた。実際にサーバにgotを通してアクセスし、アクセスログを確認した

　gotのレポジトリでuser-agentと検索してみると、headersという引数でUser-Agentを設定できそうだ。

headers: {
'user-agent': undefined
}

　とりあえず、dlt_crawler.js by t_w(https://towasys.com/)としておこう。こちらUser-Agentが反映されていることをサーバにアクセスして確認済みだ。

　コードは以下のようになった。

response = await got(url, {
    headers: {
        'user-agent': 'dlt_crawler.js by t_w(https://towasys.com/)'
    } 
});

　というかrobot.txtをガン無視しているのでお行儀が悪い気がしてきた。さらっと調べたらデライトにrobot.txtは設定されていないっぽい……？じゃあいいか……いいのか？

デライトをクロールするクローラ

彼らのサイト： https://mj12bot.com/

MJ12bot is 何

Majesticという被リンク検索システム（SEOツール？）に使用するデータを集めるクローラ。
2秒に1回の頻度でアクセスしてきていた。

robot.txtでMJ12botをブロックする方法

User-agent: MJ12bot
Disallow: / 

彼らのサイト： https://moz.com/help/moz-procedures/crawlers/dotbot

DotBot is 何

Mozという所のクローラ。
サイトを見る感じでは、SEOツールを売っている。クロールしてSEOに必要な情報を集めているのだろう。
秒間1回の頻度でアクセスしてきていた。

robot.txtでDotBotをブロックする方法

User-agent: dotbot
Disallow: /

　アメリカと戦うと言った意味では、まともな国産検索エンジンがないのが口惜しい。陰謀論みたいになってしまうが、アメリカがその気になればGoogle検索にくだらない記事を混入させるといったこともできてしまう。意図的じゃなくとも、検索結果にかける熱量もとい手間の量がそもそも違うだろう。ただ、現時点の話をすれば、Google検索は日本語を重要視しているらしい。

　そう言った意味では、ローカルのPCでクローラを回してオープンソースの検索エンジンを動かすというのは悪いアイデアじゃない。今流行りのプライバシーにも完璧に対応できる。ただ、インターネットの圧倒的な物量にはインデックスであってもローカルのPCには入りきらないということが絶望的に欠点だった。

　今から追い上げるのは難しいにしても、いつでも作れるような地固めはできないものだろうか。

　クロールする際に日時を取得していたが、日時をparseしてtimestampにする際にJSTではなくUTCでparseしてしまっていた。
　「DBに保存されている輪郭の編集日時をJSTに補正」、「クローラが日時をJSTでパースするように改修」によって対処した。
　最初、JavaScriptのDateモジュールでタイムゾーンを指定すれば治るかと思っていろいろ調べてしまった。

PCをスリープにしたら落ちてる
sshが切れるとだめなやつだろうか

CPU利用率が127%になっていた。負荷がかかりすぎている。単純にスペック不足っぽい。裏でクローラも回しながらだと処理能力が足りないのだろう。というかクローラにpuppeteerを使うのをやめたい。裏でChromiumが動くので重たくなっているはずだ。

topコマンドでCPU使用率を見たところ、やはりChromeが多くを利用している。

多数の人がローカルでクローラを回すと、DDoSみたいにならないかが不安。
動画よりは帯域を食わないとは思うが、念のために計算しておいたほうが良さそう？