寻找自由之翼——一只鸡的旅程
寻找自由之翼——一只鸡的旅程
介绍
《寻找自由之翼——一只鸡的旅程》是一部描写动物追求真正自由的纪录片。影片中,一只名叫斗鸡的小鸡在遇到意外后逃离了养鸡场,并开始了自己的冒险旅程。斗鸡带领观众探索了自由的含义,帮助人们了解到动物也有生命和权利。
斗鸡寻找自由的旅程
影片中,斗鸡离开了养鸡场,开始寻找自由之翼。在旅途中,他遇到了各种各样的阻碍和挑战,比如,他必须躲避鹰和狐狸的攻击,找到食物和水源。在他的寻找过程中,他也遇到了一些友善的动物,例如,狗、鸽子和鸭子。
斗鸡的旅程充满了惊险和刺激,但它也向我们展示了动物的感情世界和智慧。他表现出的冒险精神和生命力让我们深受感动。他告诉我们,没有什么比自由更值得追求。
动物权利的重要性
斗鸡寻找自由的旅程让我们看到了动物的生命和权利。动物也有自己的个性和情感,也应该受到保护。作为人类,我们不应该忽视动物的权利,甚至虐待它们。我们应该尊重生命,保护这些生命的所有权利。这样做,不仅是对动物的尊重,也是对自己道德的尊重。
我们也可以从斗鸡的旅程中得到启示。我们应该像斗鸡一样,勇敢地追求自由,勇敢地面对生活中的挑战。通过斗鸡的努力和毅力,我们可以更好地理解自己的生活,并取得更多的成功。
结论
《寻找自由之翼——一只鸡的旅程》是一部让人深受感动的电影,鼓励我们勇敢地追求自由和生命中的其他东西。它向我们展示了动物世界的真正面貌,并提醒我们要尊重生命和权利。希望通过这部电影,我们可以更好地了解自己,更加尊重生命。
问答话题:
1. 斗鸡是如何寻找自由之翼的?
答:斗鸡在遇到意外后逃离了养鸡场,并开始了自己的冒险旅程。在旅途中,他遇到了各种各样的阻碍和挑战,比如,他必须躲避鹰和狐狸的攻击,找到食物和水源。在他的寻找过程中,他也遇到了一些友善的动物,例如,狗、鸽子和鸭子。
2. 这部电影的主题是什么?
答:这部电影的主题是动物的权利和自由。它让我们了解到动物也有生命和权利,我们应该尊重生命,保护这些生命的所有权利。这样做,不仅是对动物的尊重,也是对自己道德的尊重。
寻找自由之翼——一只鸡的旅程特色
1、【潮牌交易】全新/二手潮牌交易,买能折扣捡漏,卖能赚钱回血!更有嘿市联合优秀卖家,定期推出限时折扣优惠。
2、使用低成本的新技术设备,租赁解决方案:回租购买服务续订租赁和离开。
3、为你提供海量靠谱的兼职信息;
4、探访儿歌王国,养成习惯传承国学
5、多地区同场对战!未来将开启全球同场分区匹配战斗,在社团里和你成员与好友一起尽情玩耍,争霸全球
寻找自由之翼——一只鸡的旅程亮点
1、不断的打怪,刷副本,并收集各种掉落的道具装备,从而帮助玩家快速提升自身的战斗力。
2、设计注重打扮,具有较高的图像质量,清晰展现你的装扮效果。
3、超级方便好用的手机形象设计工具,非常实用的在线形象设计工具。
4、玩家在收获乐趣的同时,也能对现实有所助益。
5、支持省内流量模式:不加载图片,加速省内流量
【chaopaijiaoyi】quanxin/ershouchaopaijiaoyi,mainengzhekoujianlou,mainengzhuanqianhuixue!gengyouheishilianheyouxiumaijia,dingqituichuxianshizhekouyouhui。shiyongdichengbendexinjishushebei,zulinjiejuefangan:huizugoumaifuwuxudingzulinhelikai。weinitigonghailiangkaopudejianzhixinxi;tanfangergewangguo,yangchengxiguanchuanchengguoxueduodiqutongchangduizhan!weilaijiangkaiqiquanqiutongchangfenqupipeizhandou,zaishetuanlihenichengyuanyuhaoyouyiqijinqingwanshua,zhengbaquanqiu像(xiang)Transformer壹(yi)樣(yang)思(si)考(kao)!DeepMind發(fa)布(bu)全(quan)新(xin)模(mo)型(xing)設(she)計(ji)工(gong)具(ju)Tracr:從(cong)可(ke)解(jie)釋(shi)邏(luo)輯(ji)反(fan)向(xiang)搭(da)建(jian)模型 新智(zhi)元(yuan)報(bao)道(dao) 編(bian)辑:LRS 【新智元導(dao)讀(du)】代(dai)碼(ma)直(zhi)接(jie)编譯(yi)成(cheng)Transformer模型,做(zuo)實(shi)驗(yan)从未(wei)如(ru)此(ci)輕(qing)松(song)! 「可解释性(xing)」一直是(shi)深(shen)度(du)學(xue)習(xi)難(nan)以(yi)繞(rao)過(guo)的(de)难題(ti),用(yong)戶(hu)無(wu)法(fa)理(li)解模型的運(yun)行(xing)機(ji)制(zhi),也(ye)就(jiu)无法放(fang)心(xin)地(di)把(ba)模型應(ying)用到(dao)实際(ji)場(chang)景(jing)中(zhong)。 最(zui)近(jin)來(lai)自(zi)蘇(su)黎(li)世(shi)聯(lian)邦(bang)理工学院(yuan)和(he)DeepMind的研(yan)究(jiu)人(ren)員(yuan)提(ti)出(chu)了(le)一種(zhong)全新的模型構(gou)造(zao)工具 Tracr, 直接由(you)人来根(gen)據(ju)「已(yi)知(zhi)的机制」針(zhen)對(dui)不(bu)同(tong)任(ren)務(wu)编寫(xie)代码,然(ran)後(hou)由Tracr编译成模型的權(quan)重(zhong),讓(rang)模型的解释變(bian)得(de)更(geng)轻松! 論(lun)文(wen)鏈(lian)接:https://arxiv.org/pdf/2301.05062.pdf 代码链接:https://github.com/deepmind/tracr Tracr的輸(shu)入(ru)為(wei)采(cai)用領(ling)域(yu)特(te)定(ding)語(yu)言(yan)RASP编写的代码,输出为標(biao)準(zhun)的、僅(jin)包(bao)含(han)解码器(qi)的、類(lei)似(si)GPT的Transformer結(jie)构的权重。 在(zai)实验部(bu)分(fen),研究人员使(shi)用Tracr創(chuang)建了一系(xi)列(lie)ground truth Transformers,实現(xian)了包括(kuo)计算(suan)token頻(pin)率(lv)、排(pai)序(xu)和Dyck-n括號(hao)檢(jian)查(zha)等(deng)程(cheng)序。 如何(he)解释模型? 可解释性是理解机器学习模型的重要(yao)手(shou)段(duan),但(dan)由於(yu)模型的实际运行方(fang)式(shi)仍(reng)然不清(qing)晰(xi),所(suo)以目(mu)前(qian)的研究成果(guo)大(da)多(duo)难以評(ping)估(gu)。 其(qi)中一個(ge)工作(zuo) 机理可解释性(Mechanistic interpretability)嘗(chang)試(shi)对神(shen)經(jing)網(wang)絡(luo)進(jin)行 逆(ni)向工程(reverse engineering)来对模型实现的算法給(gei)出一个机理上(shang)的解释,並(bing)在一系列任务中取(qu)得进展(zhan),包括用于圖(tu)像分类的卷(juan)積(ji)神经网络,Transformer语言模型等。 但該(gai)方法仍然存(cun)在相(xiang)關(guan)工具少(shao)、对模型机制解释不深、仍然需(xu)要研究人员进行创造性的解释等問(wen)题。 评估机理解释的标准方法结合(he)了許(xu)多臨(lin)時(shi)实验的證(zheng)据,然而(er),由于這(zhe)样做的成本(ben)很(hen)高(gao),许多方法只(zhi)能(neng)在玩(wan)具模型中进行评估,或(huo)在真(zhen)实模型中的少數(shu)不重要的circuits上进行评估。 Tracr的解決(jue)方案(an)則(ze)是, 通(tong)过將(jiang)人类可读的代码「编译」成神经网络的权重,直接解决缺(que)乏(fa)基(ji)礎(chu)机理解释的问题。 也就是說(shuo),Tracr实际上起(qi)到的就是类似 编译器的作用。 Tracr中主(zhu)要涉(she)及(ji)三(san)个組(zu)件(jian): 1. RASP代码 RASP即(ji)Restricted Access Sequence Processing Language,是2021年(nian)提出的一个用于表(biao)達(da)Transformer计算的语言,可以作为计算模型用来描(miao)述(shu)Transformers,并配(pei)有(you)相应的解释器运行RASP代码。 可以把RASP程序視(shi)为一个计算图,當(dang)根据给定的输入token序列时,图上的每(mei)个節(jie)點(dian)都(dou)會(hui)取一个特定值(zhi)。 RASP语言中包括兩(liang)个基本的节点类型;序列操(cao)作(Sequence Operations, s-op),返(fan)回(hui)输入值的token序列及indices序列;元素(su)操作(Elementwise operations);選(xuan)擇(ze)-聚(ju)合操作等。 在大多数情(qing)況(kuang)下(xia),可以将RASP操作直接映(ying)射(she)到Transformer模型的组件上,包括embedding, MLP層(ceng)和Attention层。 2. 对RASP语言的修(xiu)改(gai) 雖(sui)然RASP的操作可以直接映射到Transformers中,但仍然需要对RASP语言进行修改以对模型权重进行翻(fan)译。 3. craft,Transformer的匯(hui)编语言 如果说RASP算是编译的高級(ji)语言,那(na)麽(me)craft就是汇编语言,它(ta)提供(gong)了比(bi)在純(chun)权重矩(ju)陣(zhen)上操作更多的抽(chou)象(xiang)性。 craft可以表示(shi)具有基維(wei)度(basis dimensions)的向量(liang)空(kong)間(jian),及其相应的操作,可以用基方向的标簽(qian)来定義(yi)投(tou)影(ying)或其他(ta)線(xian)性操作。重要的是,craft抽象化(hua)了跟(gen)蹤(zong)权重矩阵中的填(tian)充(chong)的需要。 Tracr: Transformer编译器 Tracr的代码使用Python进行编写,并将RASP实现嵌(qian)入到Python中,从而可以在Python中直接编写RASP程序,比較(jiao)方便(bian)地对变量编码(variable encoding)进行标註(zhu)。 在Tracr中,RASP程序是一个数据结构,通过向每个操作傳(chuan)遞(di)依(yi)賴(lai)关系来逐(zhu)步(bu)构建,同时对RASP程序做了一些(xie)基本的簡(jian)化。 Tracr将RASP程序翻译成Transformer权重的过程主要包括六(liu)个步驟(zhou): 1. 构建计算图 追(zhui)踪整(zheng)个程序以创建一个代表计算过程的有向图。对于输出的s-op,图中包括表示tokens和indices的source节点,和代表输出s-op的sink节点。 2. 推(tui)理s-op值 对于每个s-op,需要决定如何将其嵌入到剩(sheng)余(yu)流(liu)中;为了使用类別(bie)编码,需要知道一个s-op可以取哪(na)些值。 因(yin)为计算是確(que)定的,基于有限(xian)的输入詞(ci)汇量和上下文大小(xiao),所有节点都有一组有限的输出值。 所以第(di)二(er)步的主要操作就是对图进行遍(bian)歷(li),并为每个节点标注出其可能的输出;标注使用简單(dan)的啟(qi)发式方法,确保(bao)找(zhao)到的是s-op值集(ji)合的超(chao)集。 3. 獨(du)立(li)地翻译s-ops 独立考慮(lv)计算图中的每个节点,并将其轉(zhuan)化为一个craft组件;元素操作翻译为MLP塊(kuai),选择-聚合操作翻译为注意(yi)力(li)块。 使用人工设计的MLP和注意力模块庫(ku)来近似数字(zi)和分类输入和输出的任意函(han)数;将具有分类输入和输出的MLPs作为查找表使;帶(dai)有数字输入和输出的MLP使用基于通用函数近似定理的明(ming)确结构。 对于注意层,把选择器翻译成??_{????}运算符(fu),把相应的聚合运算翻译成??_{????}运算符。 目前只支(zhi)持(chi)对分类输入的注意力。 4. 把组件分配到层上 为了构建一个Transformer模型,需要将计算图中的所有craft组件分配给各(ge)层。 理想(xiang)情况下,目标是找到最小的模型来进行所需的计算,但一般(ban)可以将其表述为一个具有幾(ji)个約(yue)束(shu)條(tiao)件的组合優(you)化问题:Transformer结构具有交(jiao)替(ti)的注意力和MLP层,而且(qie)所有相互(hu)依赖的计算都需要有正(zheng)确的順(shun)序。 出于範(fan)圍(wei)上的考虑,可以用启发式方法解决这个问题。 首(shou)先(xian),计算出从输入到一个给定节点的最長(chang)路(lu)徑(jing),其路径长度是可以分配给该节点的层数的一个上限;然后应用額(e)外(wai)的启发式方法,将层與(yu)可以并行计算的块结合起来。 这种方法可以返回一个正确但有时是次(ci)优的层分配。 5. 构造一个craft模型 直接对模型组件的输入和输出空间进行求(qiu)和作为构建的殘(can)差(cha)流空间(residual stream space )。 換(huan)句(ju)話(hua)说,将每个s-op嵌入到它自己(ji)的正交子(zi)空间中,这个子空间在整个网络中只保留(liu)给它使用。 然后按(an)照(zhao)层分配决定的顺序遍历计算图,并将组件堆(dui)疊(die)起来,得到一个用craft表示的完(wan)整Transformer。 6. 组裝(zhuang)Transformer权重 最后,将模型的craft表示转换为具體(ti)的模型权重。 首先把并行的MLP层合并为一个层,再(zai)把并行的注意力頭(tou)合并为一个层。其中在注意层中,把??_{????}和??_{????}矩阵分成????、????、????、????重量矩阵。 然后調(tiao)整所有权重的形(xing)狀(zhuang),并将其連(lian)接到Transformer架(jia)构中就可以推斷(duan)出模型配置(zhi)(深度、层寬(kuan)、残差流大小等),以適(shi)应所创建的元素。 只需重新实现步骤6,就可以直接将Tracr擴(kuo)展到支持任何其他Transformer的实现。 在可解释性研究中的应用 Tracr可以加(jia)速(su)受(shou)控(kong)实验的验证过程,以測(ce)试关于Transformer的计算结构的特定假(jia)设;通过这种方式,它也相当于成了可解释性研究的实验平(ping)臺(tai)。 研究人员对token计数、排序等例(li)子编写了RASP程序。 可解释性工具的测试案例 编译的模型可以很自然地作为测试「解释忠(zhong)实性」的基础,并提供了一种偽(wei)造可解释性技(ji)術(shu)给出的解释的方法。 发展到最后,这些模型可以被(bei)用来建立可解释性工具的测试案例库,反过来又(you)可以实现定量的评價(jia)指(zhi)标。 替换模型组件 评估对模型如何工作的理解的另(ling)一种方法是用手工编码的组件替换模型的部分內(nei)容(rong)。 例如有研究人员通过用他們(men)自己理想化的实现来替换模型的组件以测试他们对Transformer如何实现模块化加法的理解,结果发现该思路可以提高下遊(you)任务的性能,相当于有力地证明了所提出的解释是正确的。 虽然Tracr是将一个算法编译成一个完整的Transformer模型,但也可以通过修改代码调整为只编译訓(xun)練(lian)模型中的一部分,从而使得更容易(yi)评估对大型模型的理解。 理解模型现象和開(kai)发新技术 除(chu)了评估之(zhi)外,编译的模型可以作为研究circuits级别现象和开发解释Transformer模型新方法的试验台。 參(can)考資(zi)料(liao): https://arxiv.org/pdf/2301.05062.pdf返回搜(sou)狐(hu),查看(kan)更多 責(ze)任编辑: