GradiVeQ: Vector Quantization for Bandwidth-Efficient Gradient Aggregation in Distributed CNN Training

[ryoherisson]

一言でいうと

Ring All-Reduce（RAR）上で勾配を量子化する手法を提案．

論文リンク

https://proceedings.neurips.cc/paper/2018/file/cf05968255451bdefe3c5bc64d550517-Paper.pdf

著者/所属機関

Mingchao Yu, Zhifeng Lin, Krishna Narra, Songze Li, Youjie Li, Nam Sung Kim, Alexander Schwing, Murali Annavaram, Salman Avestimehr
(University of Southern California, University of Illinois at Urbana Champaign)

投稿日付(yyyy/MM/dd)

2018/12/31

概要

Ring All-Reduce（RAR）のようなリング型の集約プロトコルと併用した場合に勾配を圧縮する手法を提案．
圧縮には，PCAを通じて得たCNNの勾配間の線形相関を用いる．
線形な圧縮手法であるため，各ノードでの解凍・圧縮のオーバーヘッドを取り除くことができる．
目立った精度劣化なしに，勾配集約時間と学習時間を短縮．

RAR

新規性・差分

• 畳み込み層の勾配の線形相関を踏まえた圧縮手法

手法

結果

コメント