标签：
PipeDream: generalized pipeline parallelism for DNN training
使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割，并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法（论文发表前）来说，PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。
使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割，并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法（论文发表前）来说，PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。