107億ページ
ref: https://www.ieice.org/iss/de/DEWS/DEWS2008/proceedings/files/a2/a2-3.pdf
クローラで得られるページ数
2020/9/21 15:10:00
野良クローラの推定容量
2023/11/23 9:19:00
= 156.6405989165999[TB]
= 168191562393.1624[KB]
= 15.718837606837608 * 10700000000 [KB]
= ページメタ情報の容量 * クローラで得られるページ数
野良クローラの推定容量ページメタ情報の容量検索エンジンデライトでクローラーを回すクローラで得られるページ数デライトの生HTMLファイル容量ページのメタ情報だけを保存メタ情報全輪郭の表題推定容量クローラー
入門自作検索エンジン
2020/9/21 19:14:00
桁数を一個減らしたい
2020/9/21 15:20:00
🟩メタデータを圧縮する
- 7zip?
- gzip?
- AutoEncoder？
- Jsonをやめる？
🟩URLを無くす