https://arxiv.org/abs/2110.09510
Unsupervised Finetuning (Suichan Li, Dongdong Chen, Yinpeng Chen, Lu Yuan, Lei Zhang, Qi Chu, Bin Liu, Nenghai Yu)
규모가 제한적인 finetuning 데이터셋에 contrastive learning을 바로 적용하는 것이 어렵다, 그래서 pretraining 당시의 대규모 데이터셋에서 샘플을 끌어오고 mixup을 쓴다, 이런 아이디어네요.
#pretraining #unsupervised_training #finetuning