puppeteer

Windows停止する Node.js デライトでクローラーを回す puppeteer途中で止まる 2020年9月20日 Chrome

puppeteer

2020/9/20 13:56:00

Node.jsでChromeを制御できるAPI
　
できること

ウェブアプリ試験の自動化
ウェブアプリの自動操作（RPAみたいなもの）
ウェブから情報を自動収集

　
≪Headless Chrome Node.js API≫
https://github.com/puppeteer/puppeteer

あれ Puppeteerのようなブラウザ自動操作ツールをサーバ上で動かせばScrapboxへの書き込みを自動化できる。ただし、自分だけが使えるサービスになる。一旦はそれでいいかな。公開されたサービスにして、広く利用してもらいたい気持ちがある。あれ octpepper 『ヘッドレスブラウザ＋Puppeteerが使える「Cloudflare Workers Browser Rendering API」がオープンベータに』dockerだとpuppeteerがいい感じに動いている Windows停止するあれ convert-svg-to-png デライトでクローラーを回す puppeteerでクロールする様子デライト外部検索通類をデプロイしたクロールを途中から再開できるようにしたあれ手書きデータの画像化デライト外部検索通類デライト外部検索通類構成概要図

2020年9月20日 Node.js デプロイクローラー検索エンジンデライトクローラデライトでクローラーを回す実現性検証 puppeteer あれデライトの生HTMLファイル容量デライト外部検索通類

デライト外部検索通類をデプロイした

2020/9/28 0:41:00

デライト外部検索通類をAWSへデプロイした。↓のリンクから利用できる
http://ec2-52-193-108-6.ap-northeast-1.compute.amazonaws.com:8080/
　
デライトクローラが取得した1万9千の輪郭から検索できる

1秒未満で検索が完了する
10個までしか検索結果が表示されない
- ページャー未実装
検索結果に重複がある
- 重複を削除する処理が未実装
見た目が悪い
- CSS未実装
  - node.jsで直接HTMLを吐き出しているため、複雑なフロントエンドを作るのは手間がかかる
    - テンプレートエンジンなどに乗り換えたい
検索結果の並びがクロールされた順番になっている
- ページランクで並び変える機能が未実装

デライトクローラ Elastic IP デライト外部検索通類のグローバルIP変更

2020年9月20日デライトクローラ Node.js クローラー puppeteer 実現性検証ページメタ情報の容量デライトの生HTMLファイル容量デライト外部検索通類

デライトでクローラーを回す

2020/9/21 23:17:00

デライトから可能な限りデータを取ってきてみる
目的

デライトの外部検索通類の実現性検証
クローラー作成の学習

現在は1アクセス毎に1秒の遅延を入れる
　
クローラーはNode.jsのpuppeteerを使って作成

検索エンジンをブラウザエクステンションで実装するアイデア全輪郭の表題推定容量 puppeteer途中で止まる puppeteer WSL2 WSL2のalpine上でpuppeteerが動かない dockerだとpuppeteerがいい感じに動いているあれ Windows停止する実現性検証メタ情報ページのメタ情報だけを保存 JSON.stringifyに大きいオブジェクトを渡すと、JSONに変換してくれないクローラで得られるページ数桁数を一個減らしたい入門自作検索エンジン一部機能をNode.jsからD言語に移行する『大規模なデータをJSON.stringifyとBlobを使って保存しようとしたら,ブラウザがエラーを出すときの対処法』野良クローラの推定容量デライトクローラ puppeteerでクロールする様子デライトの生HTMLファイル容量ページメタ情報の容量クロールを途中から再開できるようにしたあれデライト外部検索通類をデプロイしたデライト外部検索通類デライト外部検索通類構成概要図

Chromiumのキャッシュの仕組み puppeteer キャッシュ 304

octpepper

2023/1/8 20:23:00

サーバー側で304(Not Modified)を解決するキャッシュプログラムの仮称

Githubレポジトリ: https://github.com/towasys/octpepper

~~キャッシュの実装が面倒（な予感）なので、puppeteerを使って、Chromiumのキャッシュ機構に乗っける（ことができるといいなぁ）。~~
Chromiumじゃなくても良さそうになってきた。

あれあれ Oct Pepper試験用画像あれあれあれあれ特徴量の計算結果をキャッシュするあれあれ

2020年9月20日 Node.js クローラーデライトでクローラーを回す puppeteer 実現性検証検索デライトの生HTMLファイル容量

デライト外部検索通類

2020/9/21 23:17:00

デライトでクローラーを回すデライトクローラあれ Elastic IP クロールを途中から再開できるようにしたあれデライト外部検索通類をデプロイしたデライト外部検索通類のグローバルIP変更デライト外部検索通類構成概要図

2020年9月20日 Node.js クローラー検索エンジンデライトクローラデライトでクローラーを回す puppeteer 実現性検証ページメタ情報の容量デライトの生HTMLファイル容量デライト外部検索通類

クロールを途中から再開できるようにした

2020/9/22 9:57:00

デライトクローラの再開時に、ファイルに保存したメタデータを読み込むようにした
これでクロールを途中から再開できる
現時点では全メタデータを読み込む
メタデータの増加に合わせて、処理時間と消費メモリーが線形に増加する想定だ
こいつが膨大なデータを集めるまえに、よりかしこい処理方式を実装しなければならない

ページメタ情報の容量

OGP TwEgaku Chromium puppeteer