t_wの輪郭

Feedlyでフォローするボタン
確定申告
[
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/kakushin-sakusei/",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/smartphone-mynaportal-etax/",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/keisubetsu/iryou-koujo.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/kakutei.htm",
  "https://www.keisan.nta.go.jp/kyoutu/ky/sm/top",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/kakushin-sakusei/",
  "https://www.nta.go.jp/publication/pamph/koho/kurashi/html/06_2.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/smartphone-mynaportal-etax/",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2020.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/shinkoku-nagare/shinkoku-nagare.htm",
  "https://www.e-tax.nta.go.jp/kojin.html",
  "https://www.nta.go.jp/taxes/tetsuzuki/shinkoku/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/zeimokubetsu/shohi/keigenzeiritsu/invoice_kakutei.htm",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/code/bunya-kakuteishinkoku.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/01/1_06.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/qa/02.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/shinkoku-nagare/",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/keisubetsu/iryou-koujo.htm",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/1900.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/kakushin-sakusei/douga.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/kakushin-gimon/",
  "https://www.e-tax.nta.go.jp/",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/qa/03.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/shinkoku-junbi/",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/r5_smart_shinkoku/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/syotoku/r05.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/keisubetsu/furusato.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/qa/01.htm",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2024.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/shinkoku-junbi/etax-riyou.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/syotoku/index.htm",
  "https://www.nta.go.jp/information/other/data/r05/kakushin_kaijo/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/kisairei/pc/index.htm",
  "https://www.e-tax.nta.go.jp/start/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/mynaportal-jidou/",
  "https://www.nta.go.jp/taxes/tetsuzuki/mynumberinfo/kyuyogensenjoho-top/userpage.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/kisairei/sp/index.htm",
  "https://www.nta.go.jp/taxes/tetsuzuki/mynumberinfo/kyuyogensenjoho-top.htm",
  "https://www.nta.go.jp/taxes/tetsuzuki/mynumberinfo/mnp_junbi/kakutei.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/shinkoku-tyuui/",
  "https://www.nta.go.jp/about/organization/osaka/topics/kakutei_shinkoku/r05_kaijyo.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/links/",
  "https://www.gov-online.go.jp/useful/article/201301/1.html",
  "https://www.nta.go.jp/taxes/shiraberu/shirabekata/9200.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/cashless-nouhu/",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/shinkoku-junbi/kannkyou.htm",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2022.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/qa/05.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/keisubetsu/iryou-shuukei.htm",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2030.htm",
  "https://www.keisan.nta.go.jp/r4yokuaru_sp/scat2/scat20/scid051.html",
  "https://www.nta.go.jp/",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/index2.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/keisubetsu/self-medication.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/r5/oshirase.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/kakushin-sonota/kakushin-kaijou.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/r3_smart_shinkoku/index.htm",
  "https://www.nta.go.jp/information/other/data/r05/kakushin_kaijo/tokyo.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/keisubetsu/juutaku.htm",
  "https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/1120.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/r2_smart_shinkoku/index.htm",
  "https://www.nta.go.jp/about/organization/nagoya/seiriken.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2019/index.htm",
  "https://www.nta.go.jp/about/organization/kantoshinetsu/topics/kakutei_shinkoku_r05/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/sodan/denwa-sodan/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2020/index.htm",
  "https://www.nta.go.jp/publication/pamph/koho/campaign/r6/Jan/03.htm",
  "https://www.nta.go.jp/information/other/data/r05/kakushin_kaijo/index02.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/pdf/001.pdf",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/r4_smart_shinkoku/index.htm",
  "https://www.keisan.nta.go.jp/r5yokuaru/index.html",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/01/1_01.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki2017/index.htm",
  "https://www.nta.go.jp/information/other/data/r05/kakushin_kaijo/kanshin.htm",
  "https://www.keisan.nta.go.jp/oshirase/r5info/info01.html",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/04/4_01.htm",
  "https://www.nta.go.jp/about/disclosure/kojinjoho/shinkoku.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/syotoku/r03.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/yoshiki/01/shinkokusho/pdf/r02/01.pdf",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/pdf/hagaki.pdf",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/yoshiki/01/shinkokusho/pdf/r04/01.pdf",
  "https://www.nta.go.jp/about/organization/nagoya/topics/tokushu/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/yoshiki/01/shinkokusho/pdf/r02/02.pdf",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/yoshiki/01/shinkokusho/pdf/r03/01.pdf",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/qa/06.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/kakutei/pdf/r05/sakukonatebiki/sp.pdf",
  "https://www.nta.go.jp/taxes/tetsuzuki/shinsei/index.htm",
  "https://www.nta.go.jp/publication/pamph/koho/campaign/r4/Nov/05.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/yoshiki/01/shinkokusho/r04.htm",
  "https://www.nta.go.jp/about/organization/osaka/topics/kakutei_shinkoku/index.htm",
  "https://www.nta.go.jp/about/council/shingikai/010216/shiryo/61.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/02/2_02.htm",
  "https://www.nta.go.jp/information/other/data/r02/kakushin_kaijo/index.htm",
  "https://www.nta.go.jp/about/organization/okinawa/release/r04/shinkoku_jokyo/index.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2023/02/2_03.htm",
  "https://www.e-tax.nta.go.jp/toiawase/toiawase.htm",
  "https://www.keisan.nta.go.jp/r5yokuaru/ocat1/cid667.html",
  "https://www.keisan.nta.go.jp/oshirase/r5info_sp/info01.html",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tebiki/2019/kisairei/sp/pdf/03.pdf",
  "https://www.nta.go.jp/about/organization/tokyo/seiriken.htm",
  "https://www.gov-online.go.jp/useful/article/201301/1.html",
  "https://www.nta.go.jp/about/organization/takamatsu/release/hodo/hodo_20/kakutei/01.htm",
  "https://www.gov-online.go.jp/useful/article/201301/1.html",
  "https://img.myna.go.jp/manual/03-04/0186.html",
  "https://www.keisan.nta.go.jp/kyoutu/ky/sm/top",
  "https://www.nta.go.jp/publication/pamph/koho/kurashi/html/06_2.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/shinkoku-junbi/etax-riyou.htm",
  "https://www.nta.go.jp/taxes/tetsuzuki/mynumberinfo/kyuyogensenjoho-top.htm",
  "https://www.nta.go.jp/taxes/tetsuzuki/mynumberinfo/kyuyogensenjoho-top/userpage.htm",
  "https://www.nta.go.jp/information/other/data/r05/kakushin_kaijo/fukuoka.htm",
  "https://www.nta.go.jp/taxes/shiraberu/shinkoku/tokushu/keisubetsu/kabu-baikyaku.htm",
  "https://www.gov-online.go.jp/tag/%E7%A2%BA%E5%AE%9A%E7%94%B3%E5%91%8A/",
  "https://myna.go.jp/beta/guides/tax-return",
  "https://www.nta.go.jp/about/organization/nagoya/topics/tokushu/kaijo.htm",
  "https://www.e-tax.nta.go.jp/software/software.htm",
  "https://www.nta.go.jp/taxes/tetsuzuki/mynumberinfo/mnp_question/question.htm",
  "https://www.nta.go.jp/information/other/data/r05/kakushin_kaijo/okinawa.htm",
  "https://www.e-tax.nta.go.jp/toiawase/qatop10.htm",
  "https://www.e-tax.nta.go.jp/topics/2024/topics_20240104_messagebox_jiki.htm",
  "https://faq.myna.go.jp/category/show/200?site_domain=default",
  "https://www.keisan.nta.go.jp/r4yokuaru/cat1/cat13/cat132/cat1322/cat13222/index.html",
  "https://www.e-tax.nta.go.jp/tetsuzuki/imagedata/shinkoku01.pdf",
  "https://www.keisan.nta.go.jp/r5yokuaru/cat2/cat24/cat245/cat2451/index.html",
  "https://www.keisan.nta.go.jp/r2yokuaru/cat2/cat22/cat22b/cid091.html",
  "https://www.keisan.nta.go.jp/r3yokuaru/ocat1/cid319.html",
  "https://www.keisan.nta.go.jp/r5yokuaru/cat1/cat13/cat131/cid349.html",
  "https://www.keisan.nta.go.jp/r4yokuaru/cat2/cat21/cat218/keisammeisaisho/uchiwakesho.html",
  "https://faq.myna.go.jp/faq/show/2731?category_id=21&site_domain=default",
  "https://www.keisan.nta.go.jp/r5yokuaru/aoiroshinkoku/hitsuyokeihi/songaihokenryo/songaihokenryo.html"
]
[Failed]大規模言語モデルで自分専用の税理士を作ってみる

この試みはめんどくさくなって途中で放棄された。
この文書に基づいて行動した結果、何らかの損害が生じたとしても、筆者は責任を取らない。
この文書に基づいて行動する前に「Librahack」について調べることを強く推奨する。


この文書について

この文書の目的

作業ログ

この文書の想定読者

JavaScriptが使えるITエンジニア
いつかやる気が出たときの私


方針

  1. go.jpドメインに限定して確定申告についてGoogle検索し、確定申告関連の情報が載ったファイルを取得する
  2. OpenAIのAssistantsに確定申告の情報が載ったファイルを食わせる
  3. Assistantsのプロンプトをチューニングする

go.jpドメインに限定してGoogle検索し、確定申告関連の情報が載ったファイルを取得する

  1. 「確定申告 site:go.jp」でGoogle検索する
  2. 検索結果からURLを抽出する
  3. 検索結果のURLからファイルをダウンロードする

「確定申告 site:go.jp」でGoogle検索する

Do it!!

検索結果からURLを抽出する

下記スクリプトをGoogle検索したページで開発者コンソールを開いて実行 

$$(`a`)
  .map(a=>a.href)
  .filter(href=>href)
  .filter(href=>!/google/.test(href))

結果→Google検索で得られた、確定申告について情報が載っているサイトのURLの配列


検索結果のURLからファイルをダウンロードする

go.jpをクロールするスクリプト


OpenAIのAssistantsに確定申告の情報が載ったファイルを食わせる

400個ぐらいのファイルをアップロードしようとしたらエラーが出た。←いまここ


Note

OpenAIのウェブUIからAssistantsに大量にファイルをアップロードできないので、頑張ってRAGを実装する必要がある。ベクトルDBを用意し、PDFとHTMLから文字列を抽出し、文字列をチャンクに分け、文字列のEmbeddingを計算し、ベクトルDBに格納し、クエリでベクトル検索し、検索結果をLLMと融合させる必要がある。はぁ～めんどくさ。

LanceDBを使えばベクトルDB部分はLambdaで動かせるかもしれない。そうなれば、Agents for Amazon BedrockでLambdaと連携させればイケそう。

大規模言語モデルを動かせる強いGPUを持っているなら、LangChainとかいうのを使っても良い。LanceDBと連携させられる。