首选最新门窗广告！(Choose the Latest Ads for Doors and Windows!)

kuangzhanchuanqiyouxixiazaimanmandenifaxianyuanlaitamenduixihuandehuagebuyiyang，zheyouduolexiekemangdehuochuangxinwanfa，anheifenggeshijieermuyixinjiesuonixuyaodegezhongpaokudaoju，nihaiyouzijidepaokucelvedengnilaishuxi，chengweizhenzhengdepaokuwangzhe。shengdongweimeidehudongbiaoqingGitHub收(shou)藏(zang)破(po)萬(wan)！谷(gu)歌(ge)聯(lian)手(shou)哈(ha)佛(fo)發(fa)布(bu)首(shou)個(ge)煉(lian)丹(dan)指(zhi)南(nan)：教(jiao)妳(ni)科(ke)學(xue)化(hua)「調(tiao)參(can)」

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】调参不(bu)能(neng)只(zhi)靠(kao)直(zhi)覺(jiao)，也(ye)是(shi)壹(yi)門(men)大(da)学問(wen)！

雖(sui)然(ran)算(suan)法(fa)工(gong)程(cheng)師(shi)往(wang)往调侃(kan)自(zi)己(ji)是「调参俠(xia)」，但(dan)调参這(zhe)件(jian)事(shi)可(ke)能真(zhen)沒(mei)想(xiang)象(xiang)中(zhong)那(na)麽(me)簡(jian)單(dan)。

比(bi)如(ru)，你是不是經(jing)常(chang)會(hui)有(you)疑(yi)惑(huo)到(dao)底(di)該(gai)選(xuan)擇(ze)哪(na)个優(you)化器(qi)？一个batch放(fang)多(duo)少(shao)數(shu)據(ju)？超(chao)参数如何(he)設(she)置(zhi)？難(nan)道真要(yao)網(wang)格(ge)搜(sou)索(suo)全(quan)實(shi)驗(yan)一遍(bian)嗎(ma)？

最(zui)近(jin)，來(lai)自谷歌和(he)哈佛大学的(de)研(yan)究(jiu)人(ren)員(yuan)以(yi)非(fei)官(guan)方(fang)的名(ming)義(yi)发布了(le)一本(ben)《深(shen)度(du)学習(xi)调参套(tao)路(lu)》，把(ba)调参这件玄(xuan)之(zhi)又(you)玄的事試(shi)圖(tu)用(yong)科学的方法来解(jie)釋(shi)，目(mu)前(qian)已(yi)收獲(huo)超過(guo)1万个stars

文(wen)檔(dang)鏈(lian)接(jie) ：https://github.com/google-research/tuning_playbook

该項(xiang)目由(you)五(wu)名從(cong)事深度学习多年(nian)的科研人员和工程师合(he)力(li)编寫(xie)，最早(zao)的甚(shen)至(zhi)在(zai)2006年就(jiu)開(kai)始(shi)写神(shen)经网絡(luo)，涉(she)及(ji)的領(ling)域(yu)也包(bao)括(kuo)从語(yu)音(yin)識(shi)別(bie)到天(tian)文学的各(ge)種(zhong)问題(ti)，並(bing)在过程中積(ji)累(lei)了大量(liang)的经验。

目標(biao)读者(zhe)群(qun)體(ti)

閱(yue)读本文的读者可以是對(dui)最大化深度学习模(mo)型(xing)性(xing)能感(gan)興(xing)趣(qu)的工程师和研究人员（包括个人和團(tuan)隊(dui)），應(ying)當(dang)对機(ji)器学习和深度学习概(gai)念(nian)有最基(ji)本的知(zhi)识儲(chu)備(bei)。

文中的重(zhong)點(dian)是超参数调整(zheng)的过程，同(tong)時(shi)也涉及了深度学习訓(xun)練(lian)的其(qi)他(ta)方面(mian)，如pipeline的实現(xian)和优化，但对这些(xie)方面的描(miao)述(shu)并不完(wan)整。

作(zuo)者假(jia)定(ding)要解決(jue)的机器学习问题是一个監(jian)督(du)学习问题或(huo)類(lei)似(si)的问题（例(li)如自监督），即(ji)文中的一些規(gui)定也可能適(shi)用於(yu)其他类型的问题。

调参不能靠直觉

以目前的情(qing)況(kuang)来說(shuo)，要想讓(rang)深度神经网络在实際(ji)应用場(chang)景(jing)中取(qu)得(de)較(jiao)高(gao)的性能，需(xu)要工程师們(men)付(fu)出(chu)大量的努(nu)力與(yu)「猜(cai)測(ce)」性实验。

深度学习的性能不僅(jin)与模型架(jia)構(gou)有關(guan)，也与超参数的选择有关，但那些能提(ti)高模型性能的参数往往都(dou)没有被(bei)記(ji)錄(lu)下(xia)来。

在論(lun)文写作中，為(wei)了让自己的敘(xu)述更(geng)加(jia)简介(jie)，作者通(tong)常不会在正(zheng)文中提及调参取得sota的过程，而(er)具(ju)体的参数对机器学习工程师来说顯(xian)然更加重要。

而教科書(shu)也往往傾(qing)向(xiang)于避(bi)免(mian)实踐(jian)类的指导，即使(shi)有豐(feng)富(fu)的工程经验，作者也会优先(xian)选择对模型的原(yuan)理(li)進(jin)行(xing)介紹(shao)。

本文的作者发现，行業(ye)內(nei)目前還(hai)没有一次(ci)全面的实验来实际解释如何用深度学习获得更好(hao)的結(jie)果(guo)，只有一些博(bo)客(ke)文章(zhang)、社(she)交(jiao)媒(mei)体等(deng)有一些零(ling)星(xing)的嘗(chang)试结果，或是在论文的附(fu)录中简略(lve)介绍一下技(ji)巧(qiao)，也有关于某(mou)个特(te)定项目或pipeline的实例研究。

總(zong)之，关于调参，可参考(kao)的内容(rong)幾(ji)乎(hu)是一片(pian)混(hun)亂(luan)。

从表(biao)面上(shang)来看(kan)，深度学习專(zhuan)家(jia)和一些初(chu)学者使用的调参方法都是类似的，但在他们手裏(li)，相(xiang)同模型的性能卻(que)有著(zhe)巨(ju)大的差(cha)距(ju)；不过，这些专家也承(cheng)認(ren)，他们调参的方法可能并不总是可解释的，更多靠的是直觉。

隨(sui)着深度学习技術(shu)的成(cheng)熟(shu)，并对世(shi)界(jie)產(chan)生(sheng)更大的影(ying)響(xiang)，社區(qu)需要更多的資(zi)源(yuan)，涵(han)蓋(gai)更多有價(jia)值(zhi)的模型recipe，包括所(suo)有的工程細(xi)節(jie)，这对获得好的结果是非常关鍵(jian)的。

在親(qin)身(shen)经歷(li)训练神经网络、教导新入(ru)行的机器学习工程师，以及为同事提供(gong)深度学习实践建(jian)議(yi)的过程中，作者团队积累了大量的经验。

虽然深度学习已经从一个局(ju)限(xian)于学术实验室(shi)的机器学习方法成長(chang)为了为数十(shi)億(yi)人使用的产品(pin)提供底層(ceng)支(zhi)持(chi)的技术，但作为一门工程学科，深度学习仍(reng)然處(chu)于起(qi)步(bu)階(jie)段(duan)，作者希(xi)望(wang)这份(fen)文档可以促(cu)进行业内对该领域进行系(xi)統(tong)性的研究。

作者同时表示(shi)，这篇(pian)文章只是在整理自己在开发深度学习模型时的经验，所以只能代(dai)表作者的觀(guan)点，而非一种客观真理。

虽然本文的主(zhu)要目的是解决在调整超参数时遇(yu)到的难题，但同时也涵盖了在模型开发时遇到的其他重要问题或錯(cuo)誤(wu)，最好是让这篇文章可以随着技术的进步而不斷(duan)发展(zhan)。

最後(hou)，文章中还提及了很(hen)多作者还没有进行深入研究的内容，并在写作完成后才(cai)发现，整个模型构建过程中仍然有大量有趣且(qie)容易(yi)被忽(hu)視(shi)的研究问题。

开始新项目

在完成了足(zu)夠(gou)多的问题定义、数据清(qing)理等基本工作后，在模型架构和训练设置上花(hua)时間(jian)才是有意(yi)义的。

编写好一个用来训练和評(ping)估(gu)的pipeline，可以方便(bian)地(di)对模型进行训练和預(yu)测；选择好合适的评估指标，盡(jin)可能地能够指示出在部(bu)署(shu)環(huan)境(jing)中的模型性能。

然后，就可以开始调参了。

选择模型架构

当开始新项目时，尽量重用那些已经被證(zheng)明(ming)有效(xiao)的模型。

选择一个成熟的、常用的模型架构，先让模型跑(pao)起来之后再(zai)考慮(lv)搭(da)建一个自定义的模型。

选择一个合适的模型架构通常意味(wei)着需要设置多个超参数来决定模型的大小(xiao)和其他细节（如层数、层寬(kuan)、激(ji)活(huo)函(han)数的类型），在文章中「选择初始配(pei)置」和「提高模型性能的科学方法」章节中有詳(xiang)细介绍超参数的选择问题。

在可能的情况下，尽量找(zhao)一篇解决与手頭(tou)问题尽可能接近的论文，并將(jiang)该模型作为起点进行修(xiu)改(gai)。

选择优化器（optimizer）

从手头问题类型中最常見(jian)优化器开始。

在所有类型的机器学习问题和模型架构中，没有哪个优化器是「最好」的，即使只是简单地比较各个优化器的性能也是一项困(kun)难的任(ren)務(wu)。

作者建议堅(jian)持使用成熟的、常见的优化器，尤(you)其是在开始一个新项目时，理想情况下最好选择用于同一类型问题的最流(liu)行的优化器。

要準(zhun)备好关註(zhu)所选优化器的「所有」超参数，具有更多超参数的优化器可能需要更多的调参工作来找到最佳(jia)配置。

这在项目的开始阶段尤其重要，因(yin)为我(wo)们正试图找到其他各种超参数的最佳值（例如架构超参数），同时将优化器的超参数视为滋(zi)擾(rao)参数。

在项目的最初阶段，最好是从一个更简单的优化器开始（例如，具有固(gu)定動(dong)量的SGD或固定的Adam），并在穩(wen)定后切(qie)換(huan)到一个更通用的优化器。

作者推(tui)薦(jian)的成熟的优化器包括但不限于：帶(dai)动量的SGD（Nesterov變(bian)体）；Adam和NAdam比带动量的SGD更通用，不过需要注意的是，Adam有4个可调整的超参数，并且很重要。

选择batch size

batch size主要控(kong)制(zhi)训练速(su)度，不应该用来直接调整验证集(ji)的性能。通常情况下，理想的选择是可用硬(ying)件所能支持的最大batch size。

batch size是决定训练时间和計(ji)算资源消(xiao)耗(hao)的一个关键因素(su)。

增(zeng)加batch size通常会減(jian)少训练时间，一般(ban)来说都是有用的，比如可以在有限的时间内进行更多的实验来调整超参数，从而可能会构建一个性能更好的最終(zhong)模型；也可以减少开发周(zhou)期(qi)的延(yan)遲(chi)，更頻(pin)繁(fan)地测试新想法。

但增加批(pi)处理量可能减少、增加或不改变资源消耗。

并且batch size不应该被当作验证集性能的可调整超参数，只要所有的超参数都调得很好（尤其是学习率(lv)和正則(ze)化超参数），并且训练步驟(zhou)的数量足够多，使用任何batch size都应该可以達(da)到相同的最终性能。

参考资料(liao)：

https://github.com/google-research/tuning_playbook返(fan)回(hui)搜狐(hu)，查(zha)看更多

責(ze)任编辑：