TRL2024/3/10 13:47:00 https://huggingface.co/docs/trl/index Transformer Reinforcement Learning DPOを行うためのライブラリ。