https://arxiv.org/abs/2008.01466
Taking Notes on the Fly Helps BERT Pre-training (Qiyu Wu, Chen Xing, Yatao Li, Guolin Ke, Di He, Tie-Yan Liu)
bert pretraining에서 rare word를 더 잘 학습하도록 촉진하는 방법. rare word 근처의 단어 임베딩들을 맥락 정보로 활용해 저장해두고 rare word가 등장할 때마다 꺼내서 결합하는 방법. 학습 속도가 향상됨. 자연어 특유의 long tail 분포가 프리트레이닝의 효과성과 관계가 있지 않나 하는 생각을 해봄. #nlp #pretraining