t_wの輪郭

いつかAIがプログラムを全部書いてくれる、コミットメッセージが学習データになるという信心から、丁寧めにコミットメッセージ書くようにしてる。

ちなみに最近気づいたんだけど、開発済みのものをAIに学習させても嬉しくないんですわ。開発済みなので。

ドキュメントの自動生成とか、RAGとかの方面でコミットメッセージ活用をやっていきたい。

AI、小規模なスクリプトとか、プロジェクトの立ち上げる時のコード書かせるのも精度が高い印象ある。学習データ多そう。

込み入った既存のプロジェクトになってきてしまうと、個別性が高くて学習データが乏しいという問題がありそう。

AIがやるにしろ、人がやるにしろ、プロジェクトが「ここだけ見ればよい」みたいな構成にできてるといいんだろうなぁと思う。

設計を勉強して頑張っていきたい。

機械学習とDuckDBが相性が良い説がある。
HuggingFaceにあるデータセットのURLを指定するだけでSQLでデータ取得できる。

例：
SELECT * FROM 'https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720/resolve/main/data/train-00000-of-00008-ff339eae82f3a35d.parquet?download=true' LIMIT 10;

https://medium.com/@AnalyticsAtMeta/scaling-analytics-instagram-the-power-of-deterministic-sampling-8ee7332d77ae

• 「🖕」ボタンで即時ブロック＋インプレゾンビ学習データに追加する
• インプレゾンビ判定器で検出された投稿は非表示にする

AIの学習データ枯渇が問題になるならば、「人間のデータ生産速度向上」がトレンドになりそう。

とはいえ、メモツールでAIが強調されているとなんとなく萎える。

https://www.docswell.com/s/tokoroten/ZYWJVR-2024-01-27-170717#p1

今日は朝から学習データのクレンジングをした

SNSの運営は当行の通報・監査に関するデータを持っているだろうから、ChatGPT的なものの強化学習に使うデータが豊富そう

Wikipediaを学習データとしてメモリーに全文展開しようというのは、おこがましいとは思わんかね

末尾の「だ、である」調と「です、ます」調 で Sentence Embeddingが極端に変わってしまって、類似度が低くなるのは、学習データの偏りもありそう。私t_wがデライトに投稿した文章から学習させているので、「だ、である」の文章が偏って多い。

データ制作者（t_w）がデライトに投稿した5万件の投稿を学習用にいい感じにしたやつ

大規模言語モデルの学習、学習データを精選するのがめちゃくちゃ大変そう

https://www.technologyreview.jp/s/291329/we-could-run-out-of-data-to-train-ai-language-programs/