SimCSE
2023/8/11 14:09:00
あれ
2023/8/13 13:21:00
学習方式も「教師なしSimCSE」から「教師ありSimCSE」変えたのでValidation Lossがちゃんと下がりよるわ
気分がよい
あれ
2023/8/11 17:00:00
やったー
幣WindowsでGPUでALBERTのSimCSEの学習ができるようになったぞ
1回の学習にかかる時間が40時間から2時間に短縮された
それでもGoogle Colabと比べると２倍時間かかるので、良いぱしょこんが欲しい
1070 Tiはそろそろ買い替えていい頃合いと思う
あれ
2023/8/11 14:09:00
昨日・今日とSentence Embeddingを吐くALBERTをSimCSEで学習させているが、少し前にちょいと試しで学習させたときの性能を上回ることができない。
機械学習はそんな淡い夢みたいなことが度々起こる。
『【論文要約】SimCSE: Simple Contrastive Learning of Sentence Embeddings』
2023/8/11 14:09:00