2020/12/21 0:51:00
dlt_crawler.js
2022/10/25 19:25:00
Web Prowlerのクローラ機能の取り外し案
2021/8/14 13:17:00
重たさの原因になっている。推薦の算出対象をお気に入りと履歴だけにすれば、極めて軽量にできるはずだ。10年ほどして、一般的なPCの性能が上がったらまたクローラ機能を入れればいいだろう。
- 利点
- 実現性が高い
- 欠点
- 作るのが面白くない
- あまり便利でない
「DOMException: IDBObjectStore.put: The serialized value is too large (size=270851898 bytes, max=267386880 bytes). localforage.min.js」ブラウザlocalforgeクローラブラウザアドオン
ブラウザアドオンでクローラみたいなことやってたら保存容量の限界に達した
2020/12/21 0:50:00
MJ12bot
2022/10/10 20:46:00
DotBot
2022/10/10 20:46:00
クローラー
2021/11/28 13:59:00
User-Agentを一般のコンピュータに偽装してクロールする輩User-Agentクローラdlt_crawler.jsgotdlt_crawler.js by t_w(https://towasys.com/)got (https://github.com/sindresorhus/got)デライトをクロールお行儀が悪いrobot.txtNode.js
あれ
2022/10/25 19:25:00
User-Agentを一般のコンピュータに偽装してクロールする輩が来て気になったのだが、私が動かしてるデライトをクロールするクローラ(dlt_crawler.js)のUser-Agentは何になってるんだろう。Node.jsでgotを使っているので、gotになっているはず……?
Node.jsでgotを使った際のUser-Agentはgot (https://github.com/sindresorhus/got)
となっていた。実際にサーバにgotを通してアクセスし、アクセスログを確認した
gotのレポジトリでuser-agentと検索してみると、headersという引数でUser-Agentを設定できそうだ。
headers: {
'user-agent': undefined
}
とりあえず、dlt_crawler.js by t_w(https://towasys.com/)
としておこう。こちらUser-Agentが反映されていることをサーバにアクセスして確認済みだ。
コードは以下のようになった。
response = await got(url, {
headers: {
'user-agent': 'dlt_crawler.js by t_w(https://towasys.com/)'
}
});
というかrobot.txtをガン無視しているのでお行儀が悪い気がしてきた。さらっと調べたらデライトにrobot.txtは設定されていないっぽい……?じゃあいいか……いいのか?