cpa广告联盟注册

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>像(xiang)Transformer壹(yi)樣(yang)思(si)考(kao)！DeepMind發(fa)布(bu)全(quan)新(xin)模(mo)型(xing)設(she)計(ji)工(gong)具(ju)Tracr：從(cong)可(ke)解(jie)釋(shi)邏(luo)輯(ji)反(fan)向(xiang)搭(da)建(jian)模型

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)辑：LRS

【新智元導(dao)讀(du)】代(dai)碼(ma)直(zhi)接(jie)编譯(yi)成(cheng)Transformer模型，做(zuo)實(shi)驗(yan)从未(wei)如(ru)此(ci)輕(qing)松(song)！

「可解释性(xing)」一直是(shi)深(shen)度(du)學(xue)習(xi)難(nan)以(yi)繞(rao)過(guo)的(de)难題(ti)，用(yong)戶(hu)無(wu)法(fa)理(li)解模型的運(yun)行(xing)機(ji)制(zhi)，也(ye)就(jiu)无法放(fang)心(xin)地(di)把(ba)模型應(ying)用到(dao)实際(ji)場(chang)景(jing)中(zhong)。

最(zui)近(jin)來(lai)自(zi)蘇(su)黎(li)世(shi)聯(lian)邦(bang)理工学院(yuan)和(he)DeepMind的研(yan)究(jiu)人(ren)員(yuan)提(ti)出(chu)了(le)一種(zhong)全新的模型構(gou)造(zao)工具 Tracr， 直接由(you)人来根(gen)據(ju)「已(yi)知(zhi)的机制」針(zhen)對(dui)不(bu)同(tong)任(ren)務(wu)编寫(xie)代码，然(ran)後(hou)由Tracr编译成模型的權(quan)重(zhong)，讓(rang)模型的解释變(bian)得(de)更(geng)轻松！

論(lun)文(wen)鏈(lian)接：https://arxiv.org/pdf/2301.05062.pdf

代码链接：https://github.com/deepmind/tracr

Tracr的輸(shu)入(ru)為(wei)采(cai)用領(ling)域(yu)特(te)定(ding)語(yu)言(yan)RASP编写的代码，输出为標(biao)準(zhun)的、僅(jin)包(bao)含(han)解码器(qi)的、類(lei)似(si)GPT的Transformer結(jie)构的权重。

在(zai)实验部(bu)分(fen)，研究人员使(shi)用Tracr創(chuang)建了一系(xi)列(lie)ground truth Transformers，实現(xian)了包括(kuo)计算(suan)token頻(pin)率(lv)、排(pai)序(xu)和Dyck-n括號(hao)檢(jian)查(zha)等(deng)程(cheng)序。

如何(he)解释模型？

可解释性是理解机器学习模型的重要(yao)手(shou)段(duan)，但(dan)由於(yu)模型的实际运行方(fang)式(shi)仍(reng)然不清(qing)晰(xi)，所(suo)以目(mu)前(qian)的研究成果(guo)大(da)多(duo)难以評(ping)估(gu)。

其(qi)中一個(ge)工作(zuo) 机理可解释性（Mechanistic interpretability）嘗(chang)試(shi)对神(shen)經(jing)網(wang)絡(luo)進(jin)行 逆(ni)向工程（reverse engineering）来对模型实现的算法給(gei)出一个机理上(shang)的解释，並(bing)在一系列任务中取(qu)得进展(zhan)，包括用于圖(tu)像分类的卷(juan)積(ji)神经网络，Transformer语言模型等。

但該(gai)方法仍然存(cun)在相(xiang)關(guan)工具少(shao)、对模型机制解释不深、仍然需(xu)要研究人员进行创造性的解释等問(wen)题。

评估机理解释的标准方法结合(he)了許(xu)多臨(lin)時(shi)实验的證(zheng)据，然而(er)，由于這(zhe)样做的成本(ben)很(hen)高(gao)，许多方法只(zhi)能(neng)在玩(wan)具模型中进行评估，或(huo)在真(zhen)实模型中的少數(shu)不重要的circuits上进行评估。

Tracr的解決(jue)方案(an)則(ze)是， 通(tong)过將(jiang)人类可读的代码「编译」成神经网络的权重，直接解决缺(que)乏(fa)基(ji)礎(chu)机理解释的问题。

也就是說(shuo)，Tracr实际上起(qi)到的就是类似 编译器的作用。

Tracr中主(zhu)要涉(she)及(ji)三(san)个組(zu)件(jian)：

1. RASP代码

RASP即(ji)Restricted Access Sequence Processing Language，是2021年(nian)提出的一个用于表(biao)達(da)Transformer计算的语言，可以作为计算模型用来描(miao)述(shu)Transformers，并配(pei)有(you)相应的解释器运行RASP代码。

可以把RASP程序視(shi)为一个计算图，當(dang)根据给定的输入token序列时，图上的每(mei)个節(jie)點(dian)都(dou)會(hui)取一个特定值(zhi)。

RASP语言中包括兩(liang)个基本的节点类型；序列操(cao)作（Sequence Operations， s-op），返(fan)回(hui)输入值的token序列及indices序列；元素(su)操作（Elementwise operations）；選(xuan)擇(ze)-聚(ju)合操作等。

在大多数情(qing)況(kuang)下(xia)，可以将RASP操作直接映(ying)射(she)到Transformer模型的组件上，包括embedding, MLP層(ceng)和Attention层。

2. 对RASP语言的修(xiu)改(gai)

雖(sui)然RASP的操作可以直接映射到Transformers中，但仍然需要对RASP语言进行修改以对模型权重进行翻(fan)译。

3. craft，Transformer的匯(hui)编语言

如果说RASP算是编译的高級(ji)语言，那(na)麽(me)craft就是汇编语言，它(ta)提供(gong)了比(bi)在純(chun)权重矩(ju)陣(zhen)上操作更多的抽(chou)象(xiang)性。

craft可以表示(shi)具有基維(wei)度（basis dimensions）的向量(liang)空(kong)間(jian)，及其相应的操作，可以用基方向的标簽(qian)来定義(yi)投(tou)影(ying)或其他(ta)線(xian)性操作。重要的是，craft抽象化(hua)了跟(gen)蹤(zong)权重矩阵中的填(tian)充(chong)的需要。

Tracr: Transformer编译器

Tracr的代码使用Python进行编写，并将RASP实现嵌(qian)入到Python中，从而可以在Python中直接编写RASP程序，比較(jiao)方便(bian)地对变量编码（variable encoding）进行标註(zhu)。

在Tracr中，RASP程序是一个数据结构，通过向每个操作傳(chuan)遞(di)依(yi)賴(lai)关系来逐(zhu)步(bu)构建，同时对RASP程序做了一些(xie)基本的簡(jian)化。

Tracr将RASP程序翻译成Transformer权重的过程主要包括六(liu)个步驟(zhou)：

1. 构建计算图

追(zhui)踪整(zheng)个程序以创建一个代表计算过程的有向图。对于输出的s-op，图中包括表示tokens和indices的source节点，和代表输出s-op的sink节点。

2. 推(tui)理s-op值

对于每个s-op，需要决定如何将其嵌入到剩(sheng)余(yu)流(liu)中；为了使用类別(bie)编码，需要知道一个s-op可以取哪(na)些值。

因(yin)为计算是確(que)定的，基于有限(xian)的输入詞(ci)汇量和上下文大小(xiao)，所有节点都有一组有限的输出值。

所以第(di)二(er)步的主要操作就是对图进行遍(bian)歷(li)，并为每个节点标注出其可能的输出；标注使用简單(dan)的啟(qi)发式方法，确保(bao)找(zhao)到的是s-op值集(ji)合的超(chao)集。

3. 獨(du)立(li)地翻译s-ops

独立考慮(lv)计算图中的每个节点，并将其轉(zhuan)化为一个craft组件；元素操作翻译为MLP塊(kuai)，选择-聚合操作翻译为注意(yi)力(li)块。

使用人工设计的MLP和注意力模块庫(ku)来近似数字(zi)和分类输入和输出的任意函(han)数；将具有分类输入和输出的MLPs作为查找表使；帶(dai)有数字输入和输出的MLP使用基于通用函数近似定理的明(ming)确结构。

对于注意层，把选择器翻译成??_{????}运算符(fu)，把相应的聚合运算翻译成??_{????}运算符。

目前只支(zhi)持(chi)对分类输入的注意力。

4. 把组件分配到层上

为了构建一个Transformer模型，需要将计算图中的所有craft组件分配给各(ge)层。

理想(xiang)情况下，目标是找到最小的模型来进行所需的计算，但一般(ban)可以将其表述为一个具有幾(ji)个約(yue)束(shu)條(tiao)件的组合優(you)化问题：Transformer结构具有交(jiao)替(ti)的注意力和MLP层，而且(qie)所有相互(hu)依赖的计算都需要有正(zheng)确的順(shun)序。

出于範(fan)圍(wei)上的考虑，可以用启发式方法解决这个问题。

首(shou)先(xian)，计算出从输入到一个给定节点的最長(chang)路(lu)徑(jing)，其路径长度是可以分配给该节点的层数的一个上限；然后应用額(e)外(wai)的启发式方法，将层與(yu)可以并行计算的块结合起来。

这种方法可以返回一个正确但有时是次(ci)优的层分配。

5. 构造一个craft模型

直接对模型组件的输入和输出空间进行求(qiu)和作为构建的殘(can)差(cha)流空间（residual stream space ）。

換(huan)句(ju)話(hua)说，将每个s-op嵌入到它自己(ji)的正交子(zi)空间中，这个子空间在整个网络中只保留(liu)给它使用。

然后按(an)照(zhao)层分配决定的顺序遍历计算图，并将组件堆(dui)疊(die)起来，得到一个用craft表示的完(wan)整Transformer。

6. 组裝(zhuang)Transformer权重

最后，将模型的craft表示转换为具體(ti)的模型权重。

首先把并行的MLP层合并为一个层，再(zai)把并行的注意力頭(tou)合并为一个层。其中在注意层中，把??_{????}和??_{????}矩阵分成????、????、????、????重量矩阵。

然后調(tiao)整所有权重的形(xing)狀(zhuang)，并将其連(lian)接到Transformer架(jia)构中就可以推斷(duan)出模型配置(zhi)（深度、层寬(kuan)、残差流大小等），以適(shi)应所创建的元素。

只需重新实现步骤6，就可以直接将Tracr擴(kuo)展到支持任何其他Transformer的实现。

在可解释性研究中的应用

Tracr可以加(jia)速(su)受(shou)控(kong)实验的验证过程，以測(ce)试关于Transformer的计算结构的特定假(jia)设；通过这种方式，它也相当于成了可解释性研究的实验平(ping)臺(tai)。

研究人员对token计数、排序等例(li)子编写了RASP程序。

可解释性工具的测试案例

编译的模型可以很自然地作为测试「解释忠(zhong)实性」的基础，并提供了一种偽(wei)造可解释性技(ji)術(shu)给出的解释的方法。

发展到最后，这些模型可以被(bei)用来建立可解释性工具的测试案例库，反过来又(you)可以实现定量的评價(jia)指(zhi)标。

替换模型组件

评估对模型如何工作的理解的另(ling)一种方法是用手工编码的组件替换模型的部分內(nei)容(rong)。

例如有研究人员通过用他們(men)自己理想化的实现来替换模型的组件以测试他们对Transformer如何实现模块化加法的理解，结果发现该思路可以提高下遊(you)任务的性能，相当于有力地证明了所提出的解释是正确的。

虽然Tracr是将一个算法编译成一个完整的Transformer模型，但也可以通过修改代码调整为只编译訓(xun)練(lian)模型中的一部分，从而使得更容易(yi)评估对大型模型的理解。

理解模型现象和開(kai)发新技术

除(chu)了评估之(zhi)外，编译的模型可以作为研究circuits级别现象和开发解释Transformer模型新方法的试验台。

參(can)考資(zi)料(liao)：

https://arxiv.org/pdf/2301.05062.pdf返回搜(sou)狐(hu)，查看(kan)更多

責(ze)任编辑：