One-Bit Over-the-Air Aggregation for Communication-Efficient Federated Edge Learning: Design and Convergence Analysis #9
Description
一言でいうと
one-bit broadband digital aggregation (OBDA)で多数のエッジデバイスが同時に通信できるように、コミュニケーションボトルネックを改善
論文リンク
https://arxiv.org/pdf/2001.05713.pdf
著者/所属機関
Guangxu Zhu, Yuqing Du, Deniz G ¨und ¨uz, and Kaibin Huang
Shenzhen Research Institute of Big Data, Shenzhen, China
The University of Hong Kong, Hong Kong
Imperial College of London, London, U.K.
投稿日付(yyyy/MM/dd)
IEEE 2020/11/26
概要
Federated Learningにおいて、同時にパラメータサーバーにアクセスする際に問題となるネットワークボトルネックを、勾配の符号を取る量子化手法と、集約(averaging, voting)された勾配を無線通信時に推定することで改善
新規性・差分
従来の研究はアナログ変調に関するものが多かったが、現在普及しているデジタル変調で利用できるようにした
手法
各エッジデバイスで定期的に計算された勾配の符号を、エッジサーバー(パラメータサーバー)に同時に通信、集約とボーティング後、再びエッジデバイスに通信することを繰り返す
結果
1つのエッジサーバー、100個のエッジデバイスを使ってMNISTとCifar-10を学習
MNISTでは6層ネットワーク、Cifar-10ではResNet18
3つのwireless hostilities下で測定
収束率は異なるがどのhostility下でも収束はしており、デバイス数が増えると精度が向上している(図右)
