t_wの輪郭

デライト外部検索通類をAWSへデプロイした。↓のリンクから利用できる
http://ec2-52-193-108-6.ap-northeast-1.compute.amazonaws.com:8080/
　
デライトクローラが取得した1万9千の輪郭から検索できる

• 1秒未満で検索が完了する
• 10個までしか検索結果が表示されない
  • ページャー未実装
• 検索結果に重複がある
  • 重複を削除する処理が未実装
• 見た目が悪い
  • CSS未実装
    • node.jsで直接HTMLを吐き出しているため、複雑なフロントエンドを作るのは手間がかかる
      • テンプレートエンジンなどに乗り換えたい
• 検索結果の並びがクロールされた順番になっている
  • ページランクで並び変える機能が未実装

デライトクローラの再開時に、ファイルに保存したメタデータを読み込むようにした
これでクロールを途中から再開できる
現時点では全メタデータを読み込む
メタデータの増加に合わせて、処理時間と消費メモリーが線形に増加する想定だ
こいつが膨大なデータを集めるまえに、よりかしこい処理方式を実装しなければならない

デライトから可能な限りデータを取ってきてみる
目的

• デライトの外部検索通類の実現性検証
• クローラー作成の学習

現在は1アクセス毎に1秒の遅延を入れる
　
クローラーはNode.jsのpuppeteerを使って作成

サーバー側で304(Not Modified)を解決するキャッシュプログラムの仮称

Githubレポジトリ: https://github.com/towasys/octpepper

キャッシュの実装が面倒（な予感）なので、puppeteerを使って、Chromiumのキャッシュ機構に乗っける（ことができるといいなぁ）。
Chromiumじゃなくても良さそうになってきた。

OGPを通して画像を要求された際に、
■ 手書きデータ→SVG→ブラウザのCanvasに描画→スクショ→PNGとして返す
っていう処理になってたのを、
■ 手書きデータ→ブラウザのCanvasに描画→スクショ→PNGとして返す
っていう処理に書き換えた

そもそもなんでブラウザやねんとなっており、
■ 手書きデータ→PNG
にしたい

現状だとサーバーでChromiumを起動するpuppeteerが走っており、これが大変遅い。起動やらなんやらするだけで1秒かかる。画面遷移に時間がかかってる説があるのでその辺の高速化がいりそう。

https://www.publickey1.jp/blog/23/puppeteercloudflare_workers_browser_rendering_api.html

コマンドラインからデライトを検索できるところまでは来た
検索が一瞬で終わる
連想配列から単語をキーとしてURLを取ってくるだけなので早い
ただ、検索結果にURLしか表示されない
デライトクローラをメタデータだけでなくページ内の内容も保存するように改変する

https://miro.com/app/board/o9J_kkgCSSo=/