t_wの輪郭

RSS

あれデライトでクローラーを回すデライトの生HTMLファイル容量全輪郭の表題推定容量

puppeteer途中で止まる

2020/9/20 14:33:00

ページ取得に30秒以上かかると止まるらしい
try, exceptで囲うと良さそう

puppeteer WSL2 WSL2のalpine上でpuppeteerが動かない dockerだとpuppeteerがいい感じに動いているあれ Windows停止する puppeteerでクロールする様子

Docker デライトでクローラーを回すデライトの生HTMLファイル容量 WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 puppeteer

Windows停止する

2020/9/20 17:02:00

突然動かなくなる
puppeteerと相性が悪いらしい
Dockerなり~~、WSL2なり~~でWindowsと隔離して動かしたほうが良さそうだ

puppeteer WSL2 WSL2のalpine上でpuppeteerが動かない dockerだとpuppeteerがいい感じに動いているあれ puppeteerでクロールする様子

Windows停止する Chrome デライトでクローラーを回すデライトの生HTMLファイル容量 WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量 puppeteer

dockerだとpuppeteerがいい感じに動いている

2020/9/20 23:26:00

dockerだとpuppeteerがいい感じに動いている
プログラムの作りが悪いので、メモリー食いつぶしているが、この状態でも動き続けている

Windows停止するデライトでクローラーを回すデライトの生HTMLファイル容量 puppeteer途中で止まるあれ全輪郭の表題推定容量

WSL2

2020/9/20 14:45:00

WSL2を使ってWindowsでMisskey開発をはじめよう WindowsのWSL2でReact Testing Libraryが遅いらしいので検証した dockerだとpuppeteerがいい感じに動いているあれ Windows停止するあれ

Windows停止する Node.js Chrome デライトでクローラーを回す puppeteer途中で止まる 2020年9月20日

puppeteer

2020/9/20 13:56:00

Node.jsでChromeを制御できるAPI
　
できること

ウェブアプリ試験の自動化
ウェブアプリの自動操作（RPAみたいなもの）
ウェブから情報を自動収集

　
≪Headless Chrome Node.js API≫
https://github.com/puppeteer/puppeteer

あれデライト外部検索通類をデプロイした Puppeteerのようなブラウザ自動操作ツールをサーバ上で動かせばScrapboxへの書き込みを自動化できる。ただし、自分だけが使えるサービスになる。一旦はそれでいいかな。公開されたサービスにして、広く利用してもらいたい気持ちがある。あれ octpepper 『ヘッドレスブラウザ＋Puppeteerが使える「Cloudflare Workers Browser Rendering API」がオープンベータに』dockerだとpuppeteerがいい感じに動いている Windows停止するあれ convert-svg-to-png デライトでクローラーを回すクロールを途中から再開できるようにしたあれ puppeteerでクロールする様子デライト外部検索通類手書きデータの画像化デライト外部検索通類構成概要図

2020年9月20日デライトでクローラーを回す Windows停止する puppeteer途中で止まる puppeteer クローラー

puppeteerでクロールする様子

2020/9/21 16:18:00

<div style="width:100%;height:0px;position:relative;padding-bottom:108.898%;"><iframe src="https://streamable.com/e/ocvssv" frameborder="0" width="100%" height="100%" allowfullscreen style="width:50%;height:50%;position:absolute;left:0px;top:0px;overflow:hidden;"></iframe></div>

Windows停止する Chrome デライトでクローラーを回すデライトの生HTMLファイル容量 dockerだとpuppeteerがいい感じに動いている WSL2 puppeteer途中で止まるあれ全輪郭の表題推定容量クローラー

あれ

2020/9/20 23:50:00

WSL2を動かしっぱなしにするとメモリーを食いつぶすらしい
クローラーのプログラムは関係なかった
クローラーのメモリー消費を試算したら、高々400MB程度で済む

Windows停止するデライトでクローラーを回すデライトの生HTMLファイル容量 puppeteer途中で止まるあれ全輪郭の表題推定容量

WSL2のalpine上でpuppeteerが動かない

2020/9/20 15:05:00

エラーコード:
DESKTOP-A0TO8ET:/mnt/d/google drive/work/Delite-Clowler$ node main.js
(node:14699) UnhandledPromiseRejectionWarning: Error: Failed to launch the browser process! spawn /mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/.local-chromium/linux-800071/chrome-linux/chrome ENOENT

TROUBLESHOOTING: https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md

at onClose (/mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:193:20)
at ChildProcess.<anonymous> (/mnt/d/google drive/work/Delite-Clowler/node_modules/puppeteer/lib/cjs/puppeteer/node/BrowserRunner.js:185:85)
at ChildProcess.emit (events.js:223:5)
at Process.ChildProcess._handle.onexit (internal/child_process.js:270:12)
at onErrorNT (internal/child_process.js:456:16)
at processTicksAndRejections (internal/process/task_queues.js:81:21)
(node:14699) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)
(node:14699) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit code.