标签:

PowerSGD: Practical Low-Rank Gradient Compression for Distributed Optimization

在分布式机器学习中,如果模型非常大,网络传输效率就会成为瓶颈,那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法,可以在很大程度上改善网络开销,并且可以保持甚至超过原有的准确率。

在分布式机器学习中,如果模型非常大,网络传输效率就会成为瓶颈,那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法,可以在很大程度上改善网络开销,并且可以保持甚至超过原有的准确率。