新年到，装饰必备！

在新年到来之际，家庭装饰成为了最具备节日气氛的必不可少的环节。装饰不仅能够为家庭增添节日的氛围，也能够为家人带来愉悦和喜悦。但是，如何选择合适的装饰品并进行装饰呢？本文将从四个方面为大家介绍新年装饰必备品：灯饰、植物、贺年卡和家居布置。

一、灯饰

灯饰是新年装饰中最为重要的元素之一。无论是家庭内部还是外部，都可以使用灯饰来点缀。常见的灯饰包括彩灯串、路灯、花环灯等。在选择灯饰时，应该注意以下几点：1. 选择寿命较长的灯饰，能够持续亮丽的效果更为重要。2. 色彩鲜艳的灯饰更能够吸引眼球，增添节日气氛。3. 能够自主调节灯光颜色和亮度的更加实用，可以根据家庭内部的氛围和情况进行调节。

二、植物

植物也是新年装饰中的重要元素之一，不仅可以为家庭增添生机和气息，也可以涵盖到传统文化的意义上。常见的植物包括乔木、花卉、盆景等。在选择植物时，应该注意以下几点：1. 品种要求多样，不同花卉、植物对应的特定寓意更能增添新年氛围。2. 植物应该符合家庭的风格和家庭成员的喜好，能够带来愉悦的心情。3. 植物的养护要求需要较为专业，需要事先做好周密的准备和规划。

三、贺年卡

贺年卡是表达情感和祝福的重要方式，是节日中不可或缺的元素之一。贺年卡的形式多种多样，包括纸制贺卡、电子贺卡、插画等。在选择贺年卡时，应该注意以下几点：1. 选择与家庭成员喜好相符的贺卡，能够更好地传达情感和祝福。2. 语言要简洁明了，不宜过多的修饰和繁复的句式。3. 对于近期有亲友去世的家庭，应该考虑避免发送感节的贺卡，以免引发不必要的伤痛。

四、家居布置

家居布置是新年装饰的重要环节之一。通过布置可以让家庭呈现出节日的氛围，让家人感受到浓厚的新年气息。常用的家居布置包括新年装饰画、家具布艺、壁挂物等。在进行家居布置时，应该注意以下几点：1. 家居布置应该与家庭整体氛围相符合，不能够突兀和不协调。2. 布置的地方要多元化，能够涵盖家庭的各个角落和区域。3. 家居布置应该具有美观性和实用性相结合，不仅可以增添节日氛围，也能够为家人带来更好的使用体验。

总结

新年到，装饰必备！在选择新年装饰品时，应该从灯饰、植物、贺年卡、家居布置等四个方面考虑。对于不同的装饰品，应该从品种多样、适用性强、颜色鲜艳等方面进行选择。通过新年装饰，不仅能够让家庭呈现出节日的氛围，也能够为家人带来更好的愉悦和喜悦。问答话题：Q1：如何选择适合自己家庭的新年灯饰？A1：在选择新年灯饰时，应该注意以下几点：选择寿命较长、色彩鲜艳的灯饰；能够自主调节灯光颜色和亮度的更加实用；能够符合家庭内部氛围和情况的为佳。Q2：对于不擅长植物养护的家庭如何选择新年植物？A2：对于不擅长植物养护的家庭，应该选择品种多样、易于养护的植物；对于细节不太明了的，可以请教专业的植物养护人员提供帮助；对于无法养护的，可以选择仿真植物等替代品进行装饰。Q3：如何挑选新年贺年卡以达到表达情感和祝福的目的？A3：在挑选新年贺年卡时，应该选择与家庭成员喜好相符的贺卡；语言要简洁明了，不宜过多的修饰和繁复的句式；对于近期有亲友去世的家庭，应该考虑避免发送感节的贺卡，以免引发不必要的伤痛。

新年到，装饰必备！特色

1、【额外赏金任务】8

2、多种炫酷的角色技能，带给玩家全新的激烈的战斗场景，多种职业角色可供玩家任意选择;

3、冒险刷怪，真实互动的核心精髓！

4、既然是街头篮球，球场设置在屋顶、海滩、酒吧旁边。就少不了街头元素。一般来说，每一个球员都可以有自己的能力，也可以在球场之上发挥自己的优势。

5、这最丰富的地图等你来闯，不同的城市，拥有不同的规模与各种建筑物，你可以前往各个地图中冒险！

新年到，装饰必备！亮点

1、以便让每一位游戏玩家都能迅速把握，非常简单化传统式繁杂的实际操作方法；

2、融入无双式动作新体验，给予你痛快割草即时新体验的3D动作手游！

3、众多特色的熟悉的火影英雄角色将完美还原，搜集强力忍者来打造最强火影军团；

4、轻松趣味的游戏氛围，所有的玩家都是可以轻松参与的，还有各种奖励可以领取，奖励福利多多不要错过哦。

5、极简的操作手法一根手指也可以轻松游玩。

【ewaishangjinrenwu】8duozhongxuankudejiaosejineng，daigeiwanjiaquanxindejiliedezhandouchangjing，duozhongzhiyejiaosekegongwanjiarenyixuanze;maoxianshuaguai，zhenshihudongdehexinjingsui！jiranshijietoulanqiu，qiuchangshezhizaiwuding、haitan、jiubapangbian。jiushaobulejietouyuansu。yibanlaishuo，meiyigeqiuyuandoukeyiyouzijidenengli，yekeyizaiqiuchangzhishangfahuizijideyoushi。zhezuifengfudeditudengnilaichuang，butongdechengshi，yongyoubutongdeguimoyugezhongjianzhuwu，nikeyiqianwanggegedituzhongmaoxian！田(tian)淵(yuan)棟(dong)新(xin)作(zuo)：打(da)開(kai)1層(ceng)Transformer黑(hei)盒(he)，註(zhu)意(yi)力(li)機(ji)制(zhi)沒(mei)那(na)麽(me)神(shen)秘(mi)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】AI理(li)論(lun)再(zai)進(jin)壹(yi)步(bu)，破(po)解(jie)ChatGPT指(zhi)日(ri)可(ke)待(dai)？

Transformer架(jia)構(gou)已(yi)經(jing)橫(heng)掃(sao)了(le)包(bao)括(kuo)自(zi)然(ran)語(yu)言(yan)處(chu)理、計(ji)算(suan)机視(shi)覺(jiao)、语音(yin)、多(duo)模(mo)態(tai)等(deng)多個(ge)領(ling)域(yu)，不(bu)過(guo)目(mu)前(qian)只(zhi)是(shi)實(shi)驗(yan)效(xiao)果(guo)非(fei)常(chang)驚(jing)艷(yan)，對(dui)Transformer工(gong)作原(yuan)理的(de)相(xiang)關(guan)研(yan)究(jiu)仍(reng)然十(shi)分(fen)有(you)限(xian)。

其(qi)中(zhong)最(zui)大(da)謎(mi)團(tuan)在(zai)於(yu)，Transformer為(wei)什(shen)么僅(jin)依(yi)靠(kao)一个「簡(jian)單(dan)的預(yu)測(ce)損(sun)失(shi)」就(jiu)能(neng)從(cong)梯(ti)度(du)訓(xun)練(lian)動(dong)态（gradient training dynamics）中湧(yong)現(xian)出(chu)高(gao)效的表(biao)征(zheng)？

最近(jin)田渊栋博(bo)士(shi)公(gong)布(bu)了团隊(dui)的最新研究成(cheng)果，以(yi)數(shu)學(xue)嚴(yan)格(ge)方(fang)式(shi)，分析(xi)了1层Transformer（一个自注意力层加(jia)一个解碼(ma)器(qi)层）在下(xia)一个token预测任(ren)務(wu)上(shang)的SGD训练动态。

论文(wen)鏈(lian)接(jie)：https://arxiv.org/abs/2305.16380

這(zhe)篇(pian)论文打开了自注意力层如(ru)何(he)組(zu)合(he)輸(shu)入(ru)token动态过程(cheng)的黑盒子(zi)，並(bing)揭(jie)示(shi)了潛(qian)在的歸(gui)納(na)偏(pian)見(jian)的性(xing)質(zhi)。

具(ju)體(ti)來(lai)說(shuo)，在没有位(wei)置(zhi)编码、長(chang)输入序(xu)列(lie)、以及(ji)解码器层比(bi)自注意力层学習(xi)更(geng)快(kuai)的假(jia)設(she)下，研究人(ren)員(yuan)證(zheng)明(ming)了自注意力就是一个判(pan)別(bie)式扫描(miao)算法(fa)（discriminative scanning algorithm）：

从均(jun)勻(yun)分布的注意力（uniform attention）开始(shi)，对于要(yao)预测的特(te)定(ding)下一个token，模型(xing)逐(zhu)漸(jian)关注不同(tong)的key token，而(er)較(jiao)少(shao)关注那些(xie)出现在多个next token窗(chuang)口(kou)中的常见token

对于不同的token，模型會(hui)逐渐降(jiang)低(di)注意力權(quan)重(zhong)，遵(zun)循(xun)训练集(ji)中的key token和(he)query token之(zhi)間(jian)从低到(dao)高共(gong)现的順(shun)序。

有趣(qu)的是，这个过程不会导致(zhi)贏(ying)家(jia)通(tong)吃(chi)，而是由(you)兩(liang)层学习率(lv)控(kong)制的相變(bian)而減(jian)速(su)，最後(hou)变成（幾(ji)乎(hu)）固(gu)定的token组合，在合成和真(zhen)实世(shi)界(jie)的数據(ju)上也(ye)验证了这種(zhong)动态。

田渊栋博士是Meta人工智能研究院(yuan)研究员、研究经理，圍(wei)棋(qi)AI項(xiang)目負(fu)責(ze)人，其研究方向(xiang)为深(shen)度增(zeng)強(qiang)学习及其在遊(you)戲(xi)中的應(ying)用(yong)，以及深度学习模型的理论分析。先(xian)后于2005年(nian)及2008年獲(huo)得(de)上海(hai)交(jiao)通大学本(ben)碩(shuo)学位，2013年获得美(mei)國(guo)卡(ka)耐(nai)基(ji)梅(mei)隆(long)大学机器人研究所(suo)博士学位。

曾(zeng)获得2013年国際(ji)计算机视觉大会（ICCV）馬(ma)爾(er)獎(jiang)提(ti)名(ming)（Marr Prize Honorable Mentions），ICML2021傑(jie)出论文榮(rong)譽(yu)提名奖。

曾在博士畢(bi)業(ye)后發(fa)布《博士五(wu)年總(zong)結(jie)》系(xi)列，从研究方向選(xuan)擇(ze)、閱(yue)读積(ji)累(lei)、時(shi)间管(guan)理、工作态度、收(shou)入和可持(chi)續(xu)的職(zhi)业发展(zhan)等方面(mian)对博士生(sheng)涯(ya)总结心(xin)得和体会。

揭秘1层Transformer

基于Transformer架构的预训练模型通常只包括非常简单的監(jian)督(du)任务，比如预测下一个单詞(ci)、填(tian)空(kong)等，但(dan)卻(que)可以为下游任务提供(gong)非常豐(feng)富(fu)的表征，实在是令(ling)人費(fei)解。

之前的工作雖(sui)然已经证明了Transformer本质上就是一个通用近似(si)器（universal approximator），但之前常用的机器学习模型，比如kNN、核(he)SVM、多层感(gan)知(zhi)机等其实也是通用近似器，这种理论無(wu)法解釋(shi)这两類(lei)模型在性能上的巨(ju)大差(cha)距(ju)。

研究人员認(ren)为，了解Transformer的训练动态（training dynamics）是很(hen)重要的，也就是说，在训练过程中，可学习參(can)数是如何隨(sui)时间变化(hua)的。

文章(zhang)首(shou)先以严謹(jin)数学定義(yi)的方式，形(xing)式化描述(shu)了1层无位置编码Transformer的SGD在下一个token预测（GPT系列模型常用的训练範(fan)式）上的训练动态。

1层的Transformer包含(han)一个softmax自注意力层和预测下一个token的解码器层。

在假设序列很长，而且(qie)解码器的学习速度比自注意力层快的情(qing)況(kuang)下，证明了训练期(qi)间自注意力的动态行(xing)为：

1. 頻(pin)率偏差Frequency Bias

模型会逐渐关注那些與(yu)query token大量(liang)共现的key token，而对那些共现较少的token降低注意力。

2. 判别偏差Discrimitive Bias

模型更关注那些在下一个要预测的token中唯(wei)一出现的獨(du)特token，而对那些在多个下一个token中出现的通用token失去(qu)興(xing)趣。

这两个特性表明，自注意力隱(yin)式地(di)運(yun)行著(zhe)一种判别式扫描（discriminative scanning）的算法，并存(cun)在归纳偏差（inductive bias），即(ji)偏向于经常与query token共同出现的独特的key token

此(ci)外(wai)，虽然自注意力层在训练过程中趨(qu)向于变得更加稀(xi)疏(shu)，但正(zheng)如频率偏差所暗(an)示的，模型因(yin)为训练动态中的相变（phase transition），所以不会崩(beng)潰(kui)为独熱(re)（one hot）。

学习的最后階(jie)段(duan)并没有收斂(lian)到任何梯度为零(ling)的鞍(an)點(dian)，而是进入了一个注意力变化緩(huan)慢(man)的區(qu)域（即随时间变化的对数），并出现参数凍(dong)结和学会（learned）。

研究结果进一步表明，相变的开始是由学习率控制的：大的学习率会產(chan)生稀疏的注意力模式，而在固定的自注意力学习率下，大的解码器学习率会导致更快的相变和密(mi)集的注意力模式。

研究人员將(jiang)工作中发现的SGD动态命(ming)名为扫描（scan）和snap：

扫描阶段：自注意力集中在key tokens上，即不同的、经常与下一个预测token同时出现的token；其他(ta)所有token的注意力都(dou)下降。

snap阶段：注意力全(quan)中几乎冻结，token组合固定。

这一现象(xiang)在简单的真实世界数据实验中也得到验证，使(shi)用SGD在WikiText上训练的1层和3层Transformer的最低自注意力层进行觀(guan)察(cha)，可以发现即使在整(zheng)个训练过程中学习率保(bao)持不变，注意力也会在训练过程中的某(mou)一时刻(ke)冻结，并变得稀疏。

参考(kao)資(zi)料(liao)：

https://arxiv.org/abs/2305.16380返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

责任编辑：