https://arxiv.org/abs/2106.04647
Compacter: Efficient Low-Rank Hypercomplex Adapter Layers (Rabeeh Karimi Mahabadi, James Henderson, Sebastian Ruder)
adapter의 파라미터를 더 압축하기. 사실 아주 강력한 결과는 아닌 것 같긴 합니다만 [[210608 Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks]] 같은 결과와 연결하면 더 흥미로운 지점이 있을지도 모르겠네요.
#adapter