あれ2024/9/14 19:58:00 機械学習とDuckDBが相性が良い説がある。 HuggingFaceにあるデータセットのURLを指定するだけでSQLでデータ取得できる。 例： SELECT * FROM 'https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720/resolve/main/data/train-00000-of-00008-ff339eae82f3a35d.parquet?download=true' LIMIT 10;
TRL2024/3/10 13:47:00 https://huggingface.co/docs/trl/index Transformer Reinforcement Learning DPOを行うためのライブラリ。
