signSGD with majority vote is communication efficient and fault tolerant

[nocotan]

一言でいうと

勾配の符号のみを通信するsignSGDを提案．

論文リンク

https://arxiv.org/pdf/1810.05291.pdf

著者/所属機関

Caltech

投稿日付(yyyy/MM/dd)

ICLR2019

概要

大規模分散学習において望ましい性質としてはいかが挙げられる：

• アルゴリズムの高速な収束性能
• 良好な汎化性能
• 通信コストの効率性
• 通信エラーに対する頑健性

これらを全て満たすアルゴリズムとして，勾配の符号のみを通信するsignSGDを提案．

新規性・差分

• 勾配の符号のみを通信するsignSGDを提案
• signSGDの収束レートを導出

手法

理論解析

結果

コメント