モデルサイズが大きいほどコード重複の影響は大きくなる
『ファイナンス機械学習』
『ファイナンス機械学習―金融市場分析を変える機械学習アルゴリズムの理論と実践』
敵対的摂動
反変原理
機械学習において、課題が困難になるにつれてモデルの取りうるパラメーターの多様性が減少すること
暗黙的カリキュラム
『アンナ・カレーニナの法則と真理に収束していくモデルたち - ジョイジョイジョイ』
『金融時系列における機械学習のオーバーフィット対策|botter_01』
Non-Parametric Continual Learning
gokart
Axolotl
グラフ機械学習
KitOps
Random Cut Forest
ICML
あれ
機械学習とDuckDBが相性が良い説がある。
HuggingFaceにあるデータセットのURLを指定するだけでSQLでデータ取得できる。
例:
SELECT * FROM 'https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720/resolve/main/data/train-00000-of-00008-ff339eae82f3a35d.parquet?download=true' LIMIT 10;
Snowflake Notebooks
あれ
iOSの画面下からスワイプしてアプリ切り替えるやつ、早くスワイプすると早くアプリ切り替えモードになる。私だったら単純に位置で閾値を設定する。その方が楽だから。でもAppleはそうしてない。怖い。
気持ちの良いUIにするために、機械学習で判定してんじゃないかとすら思わせられてしまう。
iPadでは四本指で横にスワイプするとアプリを切り替えられる。謎に気持ちが良い。マジ謎。
shumai
『第51回情報計測オンラインセミナー「深層学習と過剰パラメータの理論、人工知能の理解への試み」 - YouTube』
『九州大学集中講義 深層学習および機械学習の数理』
burn
あれ
あれ
昨日・今日とSentence Embeddingを吐くALBERTをSimCSEで学習させているが、少し前にちょいと試しで学習させたときの性能を上回ることができない。
機械学習はそんな淡い夢みたいなことが度々起こる。
SimCSE
Sentence Embeddingの学習方法
誤差逆伝播
機械学習の手法の一つ。
A→B→Cと出力が伝播するシステムにおいて、そのシステムの出力と教師信号の誤差δを、出力側から入力側へC→B→Aと逆方向に伝播させて学習させる。
一般的にはニューラルネットワークの学習に用いられる。
あれ
GO言語で並列処理させてCPUぶん回してるから廃熱で暑い。
機械学習とか夏にやるもんじゃない。