instruction
2024/4/21 20:16:00
『instruction 系の LLM のプロンプトのフォーマット』
2024/4/21 21:09:00
ござるデータセットをチャットテンプレートに変換するやつ
2024/4/21 20:17:00
cat databricks-dolly-15k-ja-gozaru.json | jq -r '.[] | "<s>[INST]<<SYS>>\n" + .input + "<</SYS>>\n" + .instruction + "[\\INST]" + .output + "<\\s>\n"' > gozaru_instruct.txt