t_wの輪郭

Docker デライトでクローラーを回す WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 puppeteer デライトの生HTMLファイル容量

Windows停止する

2020/9/20 17:02:00

突然動かなくなる
puppeteerと相性が悪いらしい
Dockerなり~~、WSL2なり~~でWindowsと隔離して動かしたほうが良さそうだ

puppeteer WSL2 WSL2のalpine上でpuppeteerが動かない dockerだとpuppeteerがいい感じに動いているあれ puppeteerでクロールする様子

Windows停止するデライトでクローラーを回す WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 puppeteer Chrome デライトの生HTMLファイル容量

dockerだとpuppeteerがいい感じに動いている

2020/9/20 23:26:00

dockerだとpuppeteerがいい感じに動いている
プログラムの作りが悪いので、メモリー食いつぶしているが、この状態でも動き続けている

Windows停止するデライトでクローラーを回す puppeteer途中で止まるあれ全輪郭の表題推定容量デライトの生HTMLファイル容量

WSL2

2020/9/20 14:45:00

WSL2を使ってWindowsでMisskey開発をはじめよう WindowsのWSL2でReact Testing Libraryが遅いらしいので検証した dockerだとpuppeteerがいい感じに動いているあれ Windows停止するあれ

Windows停止する Node.js デライトでクローラーを回す puppeteer途中で止まる 2020年9月20日 Chrome

puppeteer

2020/9/20 13:56:00

Node.jsでChromeを制御できるAPI
　
できること

ウェブアプリ試験の自動化
ウェブアプリの自動操作（RPAみたいなもの）
ウェブから情報を自動収集

　
≪Headless Chrome Node.js API≫
https://github.com/puppeteer/puppeteer

あれ Puppeteerのようなブラウザ自動操作ツールをサーバ上で動かせばScrapboxへの書き込みを自動化できる。ただし、自分だけが使えるサービスになる。一旦はそれでいいかな。公開されたサービスにして、広く利用してもらいたい気持ちがある。あれ octpepper 『ヘッドレスブラウザ＋Puppeteerが使える「Cloudflare Workers Browser Rendering API」がオープンベータに』dockerだとpuppeteerがいい感じに動いている Windows停止するあれ convert-svg-to-png デライトでクローラーを回す puppeteerでクロールする様子デライト外部検索通類をデプロイしたクロールを途中から再開できるようにしたあれ手書きデータの画像化デライト外部検索通類デライト外部検索通類構成概要図

2020年9月20日クローラーデライトでクローラーを回す Windows停止する puppeteer途中で止まる puppeteer

puppeteerでクロールする様子

2020/9/21 16:18:00

<div style="width:100%;height:0px;position:relative;padding-bottom:108.898%;"><iframe src="https://streamable.com/e/ocvssv" frameborder="0" width="100%" height="100%" allowfullscreen style="width:50%;height:50%;position:absolute;left:0px;top:0px;overflow:hidden;"></iframe></div>

Windows停止するクローラーデライトでクローラーを回す dockerだとpuppeteerがいい感じに動いている WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 Chrome デライトの生HTMLファイル容量

あれ

2020/9/20 23:50:00

WSL2を動かしっぱなしにするとメモリーを食いつぶすらしい
クローラーのプログラムは関係なかった
クローラーのメモリー消費を試算したら、高々400MB程度で済む

Windows停止するデライトでクローラーを回す puppeteer途中で止まるあれ全輪郭の表題推定容量デライトの生HTMLファイル容量

WSL2のalpine上でpuppeteerが動かない

2020/9/20 15:05:00

エラーコード:
DESKTOP-A0TO8ET:/mnt/d/google drive/work/Delite-Clowler$ node main.js
(node:14699) UnhandledPromiseRejectionWarning: Error: Failed to launch the browser process! spawn /mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/.local-chromium/linux-800071/chrome-linux/chrome ENOENT

TROUBLESHOOTING: https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md

at onClose (/mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:193:20)
at ChildProcess.<anonymous> (/mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:185:85)
at ChildProcess.emit (events.js:223:5)
at Process.ChildProcess._handle.onexit (internal/child_process.js:270:12)
at onErrorNT (internal/child_process.js:456:16)
at processTicksAndRejections (internal/process/task_queues.js:81:21)
(node:14699) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)
(node:14699) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit code.