固特异广告代理公司——与您共谋品牌未来

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>全(quan)網(wang)最(zui)詳(xiang)細(xi)！油(you)管(guan)1小(xiao)時(shi)視(shi)頻(pin)详解(jie)AlphaTensor矩(ju)陣(zhen)乘(cheng)法(fa)算(suan)法

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas David

【新智元導(dao)讀(du)】為(wei)加(jia)速(su)矩阵乘法，DeepMind的(de)AlphaTensor都(dou)有(you)什(shen)麽(me)神(shen)操(cao)作(zuo)？1小时超(chao)長(chang)视频，帶(dai)妳(ni)读懂(dong)這(zhe)篇(pian)Nature封(feng)面(mian)。由(you)淺(qian)入(ru)深(shen)，全网最细。

DeepMind前(qian)不(bu)久(jiu)發(fa)在(zai)Nature上(shang)的論(lun)文(wen)Discovering faster matrix multiplication algorithms with reinforcement learning引(yin)发熱(re)議(yi)。

这篇论文在德(de)國(guo)數(shu)學(xue)家(jia)Volken Strassen「用(yong)加法換(huan)乘法」思(si)路(lu)和(he)算法的基(ji)礎(chu)上，構(gou)建(jian)了(le)壹(yi)個(ge)基於(yu)AlphaZero的強(qiang)化(hua)学習(xi)模(mo)型(xing)，更(geng)高(gao)效(xiao)地(di)探(tan)索(suo)進(jin)一步(bu)提(ti)高矩阵乘法速度(du)的通(tong)用方(fang)法。

最近(jin)，Youtube播(bo)主(zhu)Yannic Kilcher发布(bu)了一个长達(da)近1小时的自(zi)制(zhi)视频，由浅入深地沿(yan)著(zhe)论文的脈(mai)絡(luo)，對(dui)这个登(deng)上Nature封面的工(gong)作进行(xing)了解读。

基本(ben)思路：用加法换乘法

眾(zhong)所(suo)周(zhou)知(zhi)，矩阵乘法的傳(chuan)統(tong)算法是(shi)：兩(liang)个矩阵行列(lie)交(jiao)换相(xiang)乘，然(ran)後(hou)求(qiu)和，作为新矩阵的对應(ying)元素(su)。其(qi)中(zhong)涉(she)及(ji)到(dao)大(da)量(liang)的加法和乘法運(yun)算。

对于計(ji)算機(ji)來(lai)說(shuo)，运算加法的速度要(yao)遠(yuan)远快(kuai)于乘法，所以(yi)提升(sheng)运算速度的關(guan)鍵(jian)，就(jiu)是盡(jin)量減(jian)少(shao)乘法运算的次(ci)数，即(ji)使(shi)为此(ci)增(zeng)加加法运算次数，对于计算加速的效果(guo)也(ye)是非(fei)常(chang)明(ming)顯(xian)的。

遵(zun)循(xun)这个「用加法换乘法」的基本思路，德国数学家Volken Strassen于1969年(nian)发現(xian)了更高效、占(zhan)用计算資(zi)源(yuan)更少的矩阵乘法算法。

實(shi)際(ji)上，这个思路在一些(xie)最基础的数学公(gong)式(shi)中就已(yi)經(jing)有充(chong)分(fen)體(ti)现。比(bi)如(ru)平(ping)方差(cha)公式：

a^2-b^2 =（a+b)*(a-b)

等(deng)號(hao)左(zuo)側(ce)计算两次乘法、一次加法，等号右(you)侧计算一次乘法、两次加法。实际上，如果按(an)照(zhao)多(duo)項(xiang)式乘法对等号右侧展(zhan)開(kai)，实际上发生(sheng)了正(zheng)負(fu)ab的消(xiao)去(qu)，將(jiang)乘法运算的次数從(cong)4次降(jiang)低(di)为2次。

Strassen的算法是，利(li)用原(yuan)矩阵构造(zao)一些加乘結(jie)合(he)的中間(jian)量，每(mei)个中间量只(zhi)包(bao)含(han)一次乘法计算，将原矩阵乘法轉(zhuan)换为这些中间量的加法运算，将一些符(fu)号相反(fan)的乘法消去，实现降低乘法运算次数的目(mu)的。

在2*2矩阵的乘法中，Strassen的算法将乘法运算次数由8次降为7次。

矩阵乘法的張(zhang)量表(biao)示(shi)和低秩(zhi)分解

那(na)么下(xia)一个問(wen)題(ti)就是，如何(he)找(zhao)到一種(zhong)算法，构建能(neng)夠(gou)消去乘法运算的中间量，同(tong)时更方便(bian)地利用强化学习技(ji)術(shu)？

DeepMind給(gei)出(chu)的答(da)案(an)是：将矩阵乘法转换为「低秩分解」问题。

同樣(yang)以2*2矩阵为例(li)，使用三(san)維(wei)张量来表示 AB=C 的矩阵乘法运算過(guo)程(cheng)，其中左右维度（列）为A，上下维度（行）为B，前后维度（深）为C。

用{0,1}对这个表示张量进行填(tian)充。C中取(qu)到值(zhi)的部(bu)分，填充为1，其余(yu)填充为0。如下圖(tu)所示。

比如，c1=a1*b1+a2*b3，在「最深一層(ceng)」所表示的c1上，可(ke)以看(kan)到左上方（第(di)1行第1列）的a1b1，和第3行第2列的a2b3被(bei)表示为紫(zi)色(se)1，其余为白(bai)色0。

在张量表示后，可以通过对矩阵的「低秩分解」，設(she)张量Tn为两个 n×n 矩阵相乘的表示张量。将Tn分解为r个秩一项(rank-one term)的外(wai)積(ji)。

两个n维向(xiang)量的外积可以得(de)到一个n×n的矩阵，三个n维向量的外积可以得到一个 n×n×n 的张量。

仍(reng)以Strassen的算法为例，低秩分解后的结果，即上式中的U、V、W对应为3个7秩矩阵。这裏(li)的分解矩阵的秩決(jue)定(ding)原矩阵乘法中乘法运算的次数。

实际上，用这个方法可以将n×n矩阵乘法的计算復(fu)雜(za)度降低至(zhi) O(Nlogn(R)) 。

由此可以设计一种規(gui)則(ze)，一一对应地得到图（b）中的矩阵乘法算法，即论文中的「算法1」：

建模：基于强化学习的AlphaTensor

DeepMind利用强化学习訓(xun)練(lian)了一个AlphaTensor智能体来玩(wan)一个單(dan)人(ren)遊(you)戲(xi)（Tensor Game），开始(shi)时沒(mei)有任(ren)何关于现有矩阵乘法算法的知識(shi)。

这个强化学习模型正是基于此前的AI圍(wei)棋(qi)大師(shi)AlphaZero。

那么这个游戏要如何设计，才(cai)能将其與(yu)矩阵乘法的簡(jian)化建立(li)聯(lian)系(xi)，从而(er)解决实际问题呢(ne)？

应用AlphaZero时，作者(zhe)有一些特(te)殊(shu)的网络架(jia)构技巧(qiao)。

他(ta)們(men)使用了線(xian)性(xing)代(dai)数的某(mou)些屬(shu)性，比如，即使我(wo)们改(gai)變(bian)了线性运算的某些基础，问题也是同样的。因(yin)此，即使我们改变了矩阵的基础，它(ta)在本質(zhi)上仍然代表同样的转换。

然而，对于这个算法来说，卻(que)不是这样的。

有了不同的数字(zi)，算法看起(qi)来就不同了，因为它是一种对彼(bi)此的转换。在这里，作者就很(hen)好(hao)地利用了线性代数的基本属性，創(chuang)建出了更多的训练数據(ju)。

另(ling)外，分解3D张量看起来很難(nan)，但(dan)创造一个3D张量，就很容(rong)易(yi)。

我们只需(xu)对添(tian)加的3个向量进行采(cai)样，把(ba)它们加在一起，就有了一个三维张量。经过正確(que)的分解，它们還(hai)可以创建合成(cheng)训练数据。

这些技巧都非常聰(cong)明，提供(gong)了更多的数据给系统。系统经过训练，可以準(zhun)确地提供这些分解。

讓(rang)我们分析(xi)一下神经网络架构，它是一个基于Transformer的网络。

本质上，它是一个强化学习算法。

首(shou)先(xian)要輸(shu)入當(dang)前的张量以及张量的歷(li)史(shi)，接(jie)着是軀(qu)幹(gan)(Torso)，然后是嵌(qian)入(Embedding)，最后是Policy Head和Value Head。

在上图所指(zhi)的位(wei)置(zhi)，我们要選(xuan)擇(ze)三个向量u,v,w，进行相应计算。

一旦(dan)我们有三个向量的動(dong)作，我们就可以从原始张量中减去它。然后的目標(biao)是，找到从原始张量中减去的下一个动作。所有张量的Entry都是0的时候(hou)，游戏正好结束(shu)。

这显然是一个離(li)散(san)问题。如果张量的階(jie)数高于2，就属于NP hard。

这个任務(wu)实际上很艱(jian)巨(ju)，我们使用的是3个向量，每个向量都有对应的Entry，因此这是一个巨大的动作空(kong)间，比国际象(xiang)棋或(huo)围棋之(zhi)類(lei)的空间都大得多，因此也困(kun)难得多。

这是一个更精(jing)细的架构图。他们把最后一个时间步中出现的张量的历史，用各(ge)种方式把投(tou)影(ying)到这个网格(ge)层上，然后线性层Grid 2将其转换为某种C维向量（这里时间维度就减少了）。

在这里，我们输出一个策(ce)略(lve)，这个策略是我们动作空间上的一个分布，还有一个输出到Value Head。

Value Head是从Policy Head中獲(huo)取嵌入，然后通过一些神经网络推(tui)动。

要點(dian)就是，将网络与蒙(meng)特卡(ka)洛(luo)樹(shu)搜(sou)索匹(pi)配(pei)。

總(zong)结一下：为了解决这些游戏，开始，我们的矩阵是滿(man)的，棋盤(pan)處(chu)于初(chu)始狀(zhuang)態(tai)，然后就要考(kao)慮(lv)不同的动作，每一步动作都會(hui)包含更多的动作，包括(kuo)你的对手(shou)可能考虑到的动作。

这其实就是一个树搜索算法。现在Alpha Zero style的蒙特卡洛树搜索，就是通过神经网络的策略和價(jia)值函(han)数，引导我们完(wan)成这个树搜索。

它在用藍(lan)线圈(quan)出的節(jie)点，就会向你提出建议，让你获得更成功(gong)的张量分解，也就是说，让你有更高的机率(lv)获勝(sheng)。並(bing)且(qie)，它会直(zhi)接排(pai)除(chu)掉(diao)你不該(gai)嘗(chang)試(shi)的步驟(zhou)，縮(suo)小你的考虑範(fan)围。

你只需要搜索，然后通过叠(die)代训练，在某个节点，得到Zero Tensor，就意(yi)味(wei)着你胜利了。

没有完成游戏的話(hua)，獎(jiang)勵(li)就非常低，反饋(kui)到训练神经网络之后，会做(zuo)出更好的預(yu)測(ce)。

实际上，奖励不止(zhi)是0或1， 为了鼓(gu)励模型发现最短(duan)路徑(jing)， 作者还设定了一个-1的奖励。

这就比只给0或1的奖励好得多，因为它鼓励了低阶的分解，还提供了更密(mi)集(ji)的奖励信(xin)号。

因为问题很难，胜利具(ju)有很高的偶(ou)然性，奖励是稀(xi)少的。而如果走(zou)每一步都会得到奖励，也有可能是-1的奖励，就会敦(dun)促(cu)模型采取更少的步骤。

更重(zhong)要的是，在这个合成演(yan)示中，他们会匹配一个監(jian)督(du)奖励。

因为作者不僅(jin)可以生成数据，他们实际上是知道正确的步骤的，所以他们可以以监督的方式训练神经网络——因为是我们提出的问题，所以我们已经知道你该采取哪(na)些步骤了。

再(zai)回(hui)顧(gu)一下整(zheng)个算法。

針(zhen)对原始游戏，作者改变了basis，将数据增强，然后进行蒙特卡洛树搜索。幾(ji)个树搜索之后，游戏结束，根(gen)据结果的输贏(ying)，会得到相应的奖励，然后来训练。

把它放(fang)在游戏緩(huan)沖(chong)區(qu)，就可以更好地预测要執(zhi)行的操作。

Policy Head会指导你走哪條(tiao)路，在某个节点，你可以问Value Head：现在的状态值是多少？把所有內(nei)容匯(hui)总到頂(ding)部，选择最有希(xi)望(wang)的步骤。这就是MCTS Alpha Zero style的简介(jie)。

作者的另一个巧思是：除了-1的奖励，还在終(zhong)端(duan)提供額(e)外的奖励。如果算法在英(ying)偉(wei)达V100或TPUv2上运行得很快，还会得到额外的奖励。

AlphaTensor当然不知道V100是什么，但通过强化学习的力(li)量，我们就可以找到在特定硬(ying)件(jian)上速度非常快的算法。

这样，我们就可以让算法提出定制的解决方案。

不仅是矩阵乘法，编譯(yi)器(qi)也是这种原理(li)。我们可以用这种方法，为特定的硬件優(you)化速度、内存(cun)等。显然，它的应用領(ling)域(yu)已经远远超出了矩阵乘法。

对于数学的变革(ge)

作者还发现，对于两个四(si)乘四矩阵相乘的得到的T4，AlphaTensor发现了超过14,000个非等价分解。

每种大小的矩阵乘法算法多达数千(qian)种，表明矩阵乘法算法的空间比以前想(xiang)象的要豐(feng)富(fu)。

对于关心(xin)复杂性理论的数学家来说，这是一个巨大的发现。

參(can)考资料(liao)：

https://www.reddit.com/r/MachineLearning/comments/xycz6y/d_alphatensor_explained_video_walkthrough/

https://youtu.be/3N3Bl5AA5QU返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：