2的5次幂是什么
羿阁 编译整理
量子位 | 公众号 QbitAI
Batch大小不一定是2的n次幂？
是否选择2的n次幂在运行速度上竟然也相差无几？
有没有感觉常识被颠覆？
这是威斯康星大学麦迪逊分校助理教授Sebastian Raschka（以下简称R教授）的最新结论。
在神经网络训练中，2的n次幂作为Batch大小已经成为一个标准惯例，即64、128、256、512、1024等。
一直有种说法，是这样有助于提高训练效率。
但R教授做了一番研究之后，发现并非如此。
在介绍他的试验方法之前，首先来回顾一下这个惯例究竟是怎么来的？
2的n次幂从何而来？
一个可能的答案是：因为CPU和GPU的内存架构都是由2的n次幂构成的。
或者更准确地说，根据内存对齐规则，cpu在读取内存时是一块一块进行读取的，块的大小可以是2，4，8，16（总之是2的倍数）。
因此，选取2的n次幂作为batch大小，主要是为了将一个或多个批次整齐地安装在一个页面上，以帮助GPU并行处理。
其次，矩阵乘法和GPU计算效率之间也存在一定的联系。
假设我们在矩阵之间有以下矩阵乘法A和B：
当A的行数等于B的列数的时候，两个矩阵才能相乘。
其实就是矩阵A的第一行每个元素分别与B的第一列相乘再求和，得到C矩阵的第一个数，然后A矩阵的第一行再与B矩阵的第二列相乘，得到第二个数，然后是A矩阵的第二行与B矩阵的第一列……
因此，如上图所示，我们拥有2×M×N×K个每秒浮点运算次数（FLOPS）。
现在，如果我们使用带有Tensor Cores的GPU，例如V100时，当矩阵尺寸（M，N以及K）与16字节的倍数对齐，在FP16混合精度训练中，8的倍数的运算效率最为理想。
因此，假设在理论上，batch大小为8倍数时，对于具有Tensor Cores和FP16混合精度训练的GPU最有效，那么让我们调查一下这一说法在实践中是否也成立。
不用2的n次幂也不影响速度
为了了解不同的batch数值对训练速度的影响，R教授在CIFAR-10上运行了一个简单的基准测试训练——MobileNetV3（大）——图像的大小为224×224，以便达到适当的GPU利用率。
R教授用16位自动混合精度训练在V100卡上运行训练，该训练能更高效地使用GPU的Tensor Cores。
如果你想自己运行，该代码可在此GitHub存储库中找到（链接附在文末）。
该测试共分为以下三部分：
小批量训练
从上图可以看出，以样本数量128为参考点，将样本数量减少1（127）或增加1（129），的确会导致训练速度略慢，但这种差异几乎可以忽略不计。
而将样本数量减少28（100）会导致训练速度明显放缓，这可能是因为模型现在需要处理的批次比以前更多（50,000/100=500与50,000/128= 390）。
同样的原理，当我们将样本数量增加28（156）时，运行速度明显变快了。
最大批量训练
鉴于MobileNetV3架构和输入映像大小，上一轮中样本数量相对较小，因此GPU利用率约为70%。
为了调查GPU满载时的训练速度，本轮把样本数量增加到512，使GPU的计算利用率接近100%。
△由于GPU内存限制，无法使用大于515的样本数量
可以看出，跟上一轮结果一样，不管样本数量是否是2的n次幂，训练速度的差异几乎可以忽略不计。
多GPU训练
基于前两轮测试评估的都是单个GPU的训练性能，而如今多个GPU上的深度神经网络训练更常见。为此，这轮进行的是多GPU培训。
正如我们看到的，2的n次幂（256）的运行速度并不比255差太多。
测试注意事项
在上述3个基准测试中，需要特别声明的是：
所有基准测试的每个设置都只运行过一次，理想情况下当然是重复运行次数越多越好，最好还能生成平均和标准偏差，但这并不会影响到上述结论。
此外，虽然R教授是在同一台机器上运行的所有基准测试，但两次运营之间没有特意相隔很长时间，因此，这可能意味着前后两次运行之间的GPU基本温度可能不同，并可能稍微影响到运算时间。
结论
可以看出，选择2的n次幂或8的倍数作为batch大小在实践中不会产生明显差异。
然而，由于在实际使用中已成为约定俗成，选择2的n次幂作为batch大小，的确可以帮助运算更简单并且易于管理。
此外，如果你有兴趣发表学术研究论文，选择2的n次幂将使你的论文看上去不那么主观。
尽管如此，R教授仍然认为，batch的最佳大小在很大程度上取决于神经网络架构和损失函数。
例如，在最近使用相同ResNet架构的研究项目中，他发现batch的最佳大小可以在16到256之间，具体取决于损失函数。
因此，R教授建议始终把调整batch大小，作为超参数优化的一部分。
但是，如果你由于内存限制而无法使用512作为batch大小，那么则不必降到256，首先考虑500即可。
作者Sebastian Raschka
Sebastian Raschka，是一名机器学习和 AI 研究员。
他在UW-Madison（威斯康星大学麦迪逊分校）担任统计学助理教授，专注于深度学习和机器学习研究，同时也是Lightning AI的首席 AI 教育家。
另外他还写过一系列用Python和Scikit-learn做机器学习的教材。
基准测试代码链接：https://github.com/rasbt/b3-basic-batchsize-benchmark
参考链接：https://sebastianraschka.com/blog/2022/batch-size-2.html— 完 —
量子位 QbitAI · 头条号签约
","force_purephv":"0","gnid":"9ee4e6342f133605d","img_data":[{"flag":2,"img":[{"desc":"","height":"526","title":"","url":"https://p0.ssl.img.360kuai.com/t01362a887136daea90.jpg","width":"1080"},{"desc":"","height":"539","title":"","url":"https://p0.ssl.img.360kuai.com/t014389b2000b3fb28b.jpg","width":"1080"},{"desc":"","height":"515","title":"","url":"https://p0.ssl.img.360kuai.com/t018d8e0928ccbca494.jpg","width":"760"},{"desc":"","height":"411","title":"","url":"https://p0.ssl.img.360kuai.com/t01ea739abbcab8cae6.jpg","width":"1080"},{"desc":"","height":"418","title":"","url":"https://p0.ssl.img.360kuai.com/t01db57ce81ef0763cf.jpg","width":"1080"},{"desc":"","height":"485","title":"","url":"https://p0.ssl.img.360kuai.com/t011738bf012ab5b613.jpg","width":"1080"},{"desc":"","height":"321","title":"","url":"https://p0.ssl.img.360kuai.com/t011431cf68266321ca.jpg","width":"1080"},{"desc":"","height":"358","title":"","url":"https://p0.ssl.img.360kuai.com/t01645e8ff7ef423ece.jpg","width":"984"},{"desc":"","height":"678","title":"","url":"https://p0.ssl.img.360kuai.com/t018e9644d536f2ef7d.jpg","width":"1026"},{"desc":"","height":"1272","title":"","url":"https://p0.ssl.img.360kuai.com/t01cf6d467d295f21bb.jpg","width":"1024"}]}],"original":0,"pat":"zzc,art_src_3,fts0,sts0,op50_st","powerby":"hbase","pub_time":1659244920000,"pure":"","rawurl":"http://zm.news.so.com/d38189a92bfea151bbe0c6aaa9867ab8","redirect":0,"rptid":"e9965e2dec62365e","s":"t","src":"量子位","tag":[{"clk":"kfun_1:机器学习","k":"机器学习","u":""},{"clk":"kfun_1:gpu","k":"gpu","u":""}],"title":"Batch大小不一定是2的n次幂！ML资深学者最新结论
沈呢育5112(—2)的3次幂与2的3次幂的相反数的关系是什么 -
辕风柏17253957045 ______ (—2)的3次幂=(-2)*(-2)*(-2)= -82的3次幂=2*2*2=8,其相反数为 -8 所以,(—2)的3次幂与2的3次幂的相反数的关系是相等.
沈呢育51125的2次方相反数,幂是25还是 - 25? -
辕风柏17253957045 ______ “5的2次方相反数,幂是25还是-25?”这个幂是什么? 5的2次方=25, 5的2次方的相反数=-25, 5的2次幂=25.
沈呢育5112比较大小2的1/2次幂,3的1/3次幂,5的1/5次幂
辕风柏17253957045 ______ 2的1/2次幂,3的1/3次幂, 同时6次方 分别为8和9 所以2的1/2次幂<3的1/3次幂 2的1/2次幂,5的1/5次幂 ,同时10次方 分别为32和25 所以5的1/5次幂<2的1/2次幂 5的1/5次幂<2的1/2次幂<3的1/3次幂
沈呢育51125的2次方也叫做5的2次( 是(幂)吗? -
辕风柏17253957045 ______[答案] 是的
沈呢育5112从数字2,5,6,7,中任取2个分别做幂的底数和指数,一共可作出不同的幂的个数是
辕风柏17253957045 ______ 以2作幂的底数,这样的幂有3个,分别 2的5次幂、2的6次幂、2的7次幂. 以5作幂的底数,这样的幂有3个,分别5的2次幂、5的6次幂、5的7次幂. 以6作幂的底数,这样的幂有3个,分别 6的2次幂、6的5次幂、6的7次幂. 以7作幂的底数,这样的幂有3个,分别7的2次幂、7的5次幂、7的6次幂.
沈呢育5112 - 2的五次方的底数是 - 2,指数是5,幂是 - 32,意义 -
辕风柏17253957045 ______ 意义是 5个-2 相乘 得-32...
沈呢育51122的5次+2的5次用幂的(同底数幂的加法) -
辕风柏17253957045 ______ 2^5+2^5=2^5*(1+1)=2*2^5=2^(5+1)=2^6
沈呢育5112 - 5与2的积的5次幂是多少(用科学记数法表示) 是不是( - 10)的5次幂 -
辕风柏17253957045 ______[答案] -1x10 的五次幂
沈呢育5112若x的2次幂y的n+1次幂z的3次幂是5次单项式,则m=什么 若x的2次幂y的n+1次幂z的3次 -
辕风柏17253957045 ______[答案] x^2y^(n+1)z^3是五次单项式 那麽其最高次为5次 故 n+1=5 解得n=4
沈呢育5112以复数 x + yi 为指数的幂的几何意义是什么?(几何图象) 比如 5 的 2 + 3i 次幂等于?其几何图象如何? -
辕风柏17253957045 ______[答案] 复数指数幂是有定义的:e^(x+yi)=e^x(cosy+isiny) 对于一般指数函数定义为a^z=e^(zLna) Lna是多值的.可以计算它的值(多值). 5^(2+3i) =e^[(2+3i)Ln5] =e^[(2+3i)(ln5+2kπi)] =e^[(2ln5-6kπ)+i(3ln5+4kπ)] =e^(2ln5-6kπ)(cos3ln5+isin3ln5),k∈Z 5^(2+3i)的...