Error Compensated Quantized SGD and its Applications to Large-scale Distributed Optimization #18
Description
一言でいうと
誤差補償型QSGD(ECQ-SGD)の提案と理論分析．
論文リンク
http://proceedings.mlr.press/v80/wu18d/wu18d.pdf
著者/所属機関
Jiaxiang Wu，Weidong Huang，Junzhou Huang，Tong Zhang
(Tencent AI Lab)
投稿日付(yyyy/MM/dd)
2018/01/21
概要
勾配の圧縮を行うと，量子化誤差が発生し，収束が遅くなったり発散することがある．既存手法の1Bit-SGDでは，現在の局所勾配を前回のイテレーションからの量子化誤差で補正してから，量子化関数に投入しており，これにより収束の挙動が改善されたとしているが，理論的な分析はされていない．
そこで，過去の全ての量子化誤差を蓄積して誤差フィードバックを行うECQ-SGDを提案した．
実験的に高速・安定した収束を示し，理論的にもQSGDよりも厳しいケースにおいて誤差境界を収束することを証明．
新規性・差分
- 過去の全ての量子化誤差を蓄積して誤差フィードバックを行う手法を提案
- 理論的に収束を保証
手法
過去の全ての量子化誤差を蓄積した上で圧縮．
結果
