infoboxの仕組み（想像）
2024/3/24 20:52:00
Scrapboxのページを独自のLLMで表のカラム名に合うように要約している。一度要約したら、その内容をDBなどに保存して再利用する（都度計算は流石に処理負荷が高いので）。
なぜ独自のLLMを使っていると思うかというと、
- OpenAIなどのLLMを使うと課金されすぎて爆死するのが目に見えているから
- 金額の試算はしてない
- 「OpenAIに怒られそうな言葉を入れまくってみたけどサマライズされているように見える」らしいから
- 文章要約タスクに特化すれば、自前でLLMを作れそうだから
- 最近はいい感じのオープンな軽量のLLMモデルが出てきつつある