您的当前位置：首页深度学习-计算量及GPU显存

深度学习-计算量及GPU显存

来源：欧得旅游网

1、计算量MACC与FLOP

MACC：表示一次乘法累加。

FLOP：表示计算量，比如一次乘法或加法运算。FLOPs为FLOP单位，因此1 MACC=2 FLOPs

我们通常统计计算量使用FLOPs（浮点运算数），但是这里我们使用MACCs或乘法累加数。

理论计算量用FLOPs表示，关系到算法速度，大模型的单位通常为G，小模型通道为M。注意两点：

2、参数数量

参数数量用params表示，关系到模型大小，单位通常为M，通常参数用float32表示，所以模型大小是参数数量的4倍。

float32是4个字节，因此模型大小字节数=参数量×4

3、GPU

这是 nvidia-smi 命令的输出，其中最重要的两个指标：

显存占用
GPU 利用率

显存可以看成是空间，类似于内存。

显存用于存放模型，数据
显存越大，所能运行的网络也就越大

显存占用主要包括参数的显存占用、梯度与动量的显存占用、输入输出的显存占用、

只有有参数的层，才会有显存占用。这部份的显存占用和输入无关，模型加载完成之后就会占用。

深度学习中神经网络的显存占用有如下公式：

显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用

GPU 计算单元类似于 CPU 中的核，用来进行数值计算。衡量计算量的单位是 flop： the number of floating-point multiplication-adds，浮点数先乘后加算一个 flop。计算能力越强大，速度越快。衡量计算能力的单位是 flops：每秒能执行的 flop 数量

显卡简介：

参考：

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文