t_wの輪郭

全輪郭の表題推定容量デライトの生HTMLファイル容量

あれ

2020/9/20 14:30:00

Web Storage APIには乗らないが、ブラウザの変数に入れることはできるかもしれない
ただ、これからも輪郭が増えることを考えると、利用者ブラウザ側での検索は現実的ではなさそうだ

puppeteer途中で止まる WSL2 WSL2のalpine上でpuppeteerが動かない dockerだとpuppeteerがいい感じに動いているあれ Windows停止する Web Storage API

Docker デライトでクローラーを回す WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 puppeteer デライトの生HTMLファイル容量

Windows停止する

2020/9/20 17:02:00

突然動かなくなる
puppeteerと相性が悪いらしい
Dockerなり~~、WSL2なり~~でWindowsと隔離して動かしたほうが良さそうだ

puppeteer WSL2 WSL2のalpine上でpuppeteerが動かない dockerだとpuppeteerがいい感じに動いているあれ puppeteerでクロールする様子

Windows停止するデライトでクローラーを回す WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 puppeteer Chrome デライトの生HTMLファイル容量

dockerだとpuppeteerがいい感じに動いている

2020/9/20 23:26:00

dockerだとpuppeteerがいい感じに動いている
プログラムの作りが悪いので、メモリー食いつぶしているが、この状態でも動き続けている

Windows停止するデライトでクローラーを回す puppeteer途中で止まるあれ全輪郭の表題推定容量デライトの生HTMLファイル容量

WSL2

2020/9/20 14:45:00

WSL2を使ってWindowsでMisskey開発をはじめよう WindowsのWSL2でReact Testing Libraryが遅いらしいので検証した dockerだとpuppeteerがいい感じに動いているあれ Windows停止するあれ

あれデライトでクローラーを回す全輪郭の表題推定容量デライトの生HTMLファイル容量

puppeteer途中で止まる

2020/9/20 14:33:00

ページ取得に30秒以上かかると止まるらしい
try, exceptで囲うと良さそう

puppeteer WSL2 WSL2のalpine上でpuppeteerが動かない dockerだとpuppeteerがいい感じに動いているあれ Windows停止する puppeteerでクロールする様子

Windows停止するクローラーデライトでクローラーを回す dockerだとpuppeteerがいい感じに動いている WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 Chrome デライトの生HTMLファイル容量

あれ

2020/9/20 23:50:00

WSL2を動かしっぱなしにするとメモリーを食いつぶすらしい
クローラーのプログラムは関係なかった
クローラーのメモリー消費を試算したら、高々400MB程度で済む

Windows停止するデライトでクローラーを回す puppeteer途中で止まるあれ全輪郭の表題推定容量デライトの生HTMLファイル容量

WSL2のalpine上でpuppeteerが動かない

2020/9/20 15:05:00

エラーコード:
DESKTOP-A0TO8ET:/mnt/d/google drive/work/Delite-Clowler$ node main.js
(node:14699) UnhandledPromiseRejectionWarning: Error: Failed to launch the browser process! spawn /mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/.local-chromium/linux-800071/chrome-linux/chrome ENOENT

TROUBLESHOOTING: https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md

at onClose (/mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:193:20)
at ChildProcess.<anonymous> (/mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:185:85)
at ChildProcess.emit (events.js:223:5)
at Process.ChildProcess._handle.onexit (internal/child_process.js:270:12)
at onErrorNT (internal/child_process.js:456:16)
at processTicksAndRejections (internal/process/task_queues.js:81:21)
(node:14699) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)
(node:14699) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit code.

Web Storage API

2020/7/23 17:44:00