标签：
PowerSGD: Practical Low-Rank Gradient Compression for Distributed Optimization
在分布式机器学习中，如果模型非常大，网络传输效率就会成为瓶颈，那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法，可以在很大程度上改善网络开销，并且可以保持甚至超过原有的准确率。
在分布式机器学习中，如果模型非常大，网络传输效率就会成为瓶颈，那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法，可以在很大程度上改善网络开销，并且可以保持甚至超过原有的准确率。