https://arxiv.org/abs/2107.02561
Rethinking Positional Encoding (Jianqiao Zheng, Sameera Ramasinghe, Simon Lucey)
positional encoding의 디자인 방법에 대한 고찰. position encoding 행렬의 계수rank가 너무 높으면 오버핏이 나고 너무 낮으면 언더핏이 난다는 아이디어. 추가로 positional encoding은 거리를 보존해야 한다는 조건 추가. fixed positional encoding을 쓰는 문제에서는 실제로 이걸 잘 디자인하는 것이 의미가 있는 경우가 있는 듯 한데...쉽지는 않군요.
#positional_encoding