PyTorch 计算图

对于任何深度学习库,首先要理解的是计算图的概念。

深度学习中,神经网络中的各种运算、操作,如加权求和,激活函数等,都被编排成一个图,称为计算图。这样,一个神经网络就可以用一个计算图来表示。

具体来说,计算图是一组计算,每个计算操作被称为节点,这些节点按照计算的方向顺序连接,后面节点的输入依赖于前面节点,而这些节点又将计算结果输出给后面其他节点。

方程: f(x,y) = x^2y + y + 2的计算图,如下所示:

计算图

计算图从本质上来说,是PyTorch在内存中构建的程序逻辑图,它定义了实现神经网络所需的变量和操作。

计算图可以被分割成多个块,并且可以并行地运行在多个不同的cpu或gpu上,这被称为并行计算,这是支持大规模神经网络所必须的。

计算图并行计算

所有主要的深度学习框架(TensorFlow、Theano、PyTorch等)都涉及到构建这样的计算图,通过这些计算图构建神经网络。



浙ICP备17015664号联系我们网站地图  
@2019 qikegu.com 版权所有,禁止转载