t_wの輪郭

Wikipediaを学習データとしてメモリーに全文展開しようというのは、おこがましいとは思わんかね

データ制作者（t_w）がデライトに投稿した5万件の投稿を学習用にいい感じにしたやつ

大規模言語モデルの学習、学習データを精選するのがめちゃくちゃ大変そう

今日は朝から学習データのクレンジングをした

SNSの運営は当行の通報・監査に関するデータを持っているだろうから、ChatGPT的なものの強化学習に使うデータが豊富そう

末尾の「だ、である」調と「です、ます」調 で Sentence Embeddingが極端に変わってしまって、類似度が低くなるのは、学習データの偏りもありそう。私t_wがデライトに投稿した文章から学習させているので、「だ、である」の文章が偏って多い。

https://www.technologyreview.jp/s/291329/we-could-run-out-of-data-to-train-ai-language-programs/