用什么tricks能让模型训练得更快?先了解下这个问题的第一性原理

你也可以把高效深度学习的问题划分为以下三个不同的组成部分: 1. 计算:GPU 计算实际浮点运算(FLOPS)所花费的时间; 2. 内存:在 GPU 内传输张量所花费的时间; 3. 额外开销:花在其它部分的时间。

点击进入