https://arxiv.org/abs/2107.13098
A Tale Of Two Long Tails (Daniel D'souza, Zach Nussbaum, Chirag Agarwal, Sara Hooker)
데이터가 증가하면 감소시킬 수 있는 모델 예측의 불확실성과 데이터가 증가해도 감소시킬 수 없는 불확실성을 구분해낼 수 있는가 하는 문제군요. 추가적인 데이터가 주어지면 불확실성이 낮아지는 효과를 증폭하기 위해 소프트맥스 확률이 낮은 샘플에 대해 augmentation으로 추가 데이터를 학습 과정 중에 제공하는 방식으로 실험해봤습니다. 확실히 경향이 나타나는 것 같긴 하네요.
#uncertainty