花生的广告词创意

花生的健康益处

花生是一种热门的食品,不仅美味可口,而且还有许多健康益处。首先,花生富含蛋白质、维生素和矿物质,有助于增强身体免疫力。其次,花生中的不饱和脂肪酸可以降低胆固醇水平,减少心脏病和中风的风险。此外,花生中的抗氧化剂有助于预防癌症和其他慢性疾病。因此,每天吃一些花生对身体健康非常有益。

花生

除了花生本身的好处,其衍生产品也很受欢迎。例如,花生酱是一种非常受欢迎的食品,可以用于制作各种美食,如花生酱三明治、饼干和蛋糕等。花生油也是一种常见的食用油,可以用于煎、炒、烤、炸等各种烹饪方式。花生还可以被制成各种各样的小吃,如炒花生米、花生糖和花生酥等。因此,花生在食品行业中具有广泛的应用前景。

花生的营养价值

除了上述提到的健康益处外,花生还有丰富的营养价值。首先,花生富含维生素E,是一种重要的抗氧化剂,有助于保护细胞免受自由基的伤害。其次,花生含有丰富的膳食纤维,有助于促进肠道健康,预防便秘和其他消化问题。最后,花生中的矿物质包括钾、镁和锌等,有助于维持身体健康。

花生食品

花生还是一种低GI(升糖指数)的食品,意味着它摄取到的能量释放得相对较慢,有助于维持血糖水平。因此,花生是一种非常适合控制血糖的食品,特别是对于患有糖尿病的人来说。

如何选购花生

选择优质的花生非常重要,因为不同质量的花生具有不同的口感和营养价值。首先,我们应该选择完整、坚固的花生,这样可以避免食品中杂质的存在。其次,我们应该选择没有霉斑、无异味的花生,这样可以避免吃到发霉食品的风险。最后,我们应该选择有光泽、有弹性的花生,这样可以确保花生的口感和营养价值。

选择花生

在选择花生时,我们还应该注意到一些细节。例如,我们应该避免选择过期或长时间保存的花生,因为这些花生可能会失去一些营养成分。此外,我们还应该选择新鲜的花生,因为新鲜的花生更有营养和口感。

结论

总之,花生是一种非常健康和美味的食品,具有丰富的营养价值和健康益处。在选购花生时,我们应该注意到一些细节,以确保我们选择的花生是新鲜、有营养和口感好的。如果你对花生有任何问题或疑虑,请咨询我们的客服,我们将竭诚为您提供帮助。

花生的广告词创意随机日志

【新增】支持直接搜索电商平台商品名称,精准触达

1、改进的Web应用程序安全:将HTMLSandbox中的相同标记和支持用于iframe隔离。

2、增加预设喝水计划,有天气、活动情况、孕期、哺乳期等多种选择

3、在投屏之前,请确定智能手机和智能电视使用的是同一个无线网络,如已经在同一网络下,点击App投屏按钮,选择需要投屏的电视(电视已打开投屏功能的前提下)进行投屏。

4、输入功能对应的数字,按键盘【Enter】(回车键)键即可

5、灵活设置智能硬件状态反馈,设备信息随时掌控,智能家庭生活省心省力。

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>加(jia)速(su)ViT模(mo)型(xing)新(xin)思(si)路(lu)!Meta推(tui)出(chu)Token Merging,不(bu)靠(kao)剪(jian)枝(zhi)靠合(he)並(bing)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji):昕(xin)朋(peng)

【新智元導(dao)讀(du)】由(you) Meta AI的(de)研(yan)究(jiu)人(ren)員(yuan)推出Token Merging(ToMe),無(wu)需(xu)訓(xun)練(lian)即(ji)可(ke)加速 ViT 模型。更(geng)重(zhong)要(yao)的是(shi),這(zhe)個(ge)模型不需對(dui)token進(jin)行(xing)剪枝。

視(shi)覺(jiao)變(bian)換(huan)器(qi)(ViT)在(zai)兩(liang)年(nian)前(qian)进入(ru)大(da)眾(zhong)视野(ye),并成(cheng)為(wei)計(ji)算(suan)機(ji)视觉研究的核(he)心(xin)組(zu)成部(bu)分(fen)。

它(ta)成功(gong)將(jiang)壹(yi)个在自(zi)然(ran)語(yu)言(yan)處(chu)理(li)領(ling)域(yu)的Transformer模型遷(qian)移(yi)到(dao)计算机视觉领域。從(cong)那(na)時(shi)起(qi),计算机视觉领域的进步(bu)已(yi)經(jing)加速。

盡(jin)管(guan)在成本(ben)與(yu)性(xing)能(neng)方(fang)面(mian)被(bei)超(chao)越(yue),Vanilla ViT仍(reng)有(you)許(xu)多(duo)優(you)點(dian)。

它們(men)是由簡(jian)單(dan)的矩(ju)陣(zhen)乘(cheng)法(fa)组成的,这使(shi)得(de)它们的速度(du)比(bi)它们的原(yuan)始(shi)運(yun)算量(liang)所(suo)顯(xian)示(shi)的要快(kuai)。

此(ci)外(wai),它们支(zhi)持(chi)強(qiang)大的自監(jian)督(du)預(yu)训练技(ji)術(shu),如(ru)MAE(掩(yan)碼(ma)自動(dong)编码器),可以(yi)產(chan)生(sheng)最(zui)先(xian)进的結(jie)果(guo),同(tong)时可以进行快速训练。

而(er)且(qie)由於(yu)它们不对數(shu)據(ju)进行假(jia)設(she),它们可以幾(ji)乎(hu)不加改(gai)变地(di)應(ying)用(yong)在圖(tu)片(pian)、音(yin)頻(pin)、文(wen)本等(deng)諸(zhu)多模式(shi)中(zhong)。

當(dang)然,理想(xiang)很(hen)豐(feng)滿(man),現(xian)實(shi)很骨(gu)感(gan)。ViT模型的規(gui)模大,有較(jiao)大延(yan)时。在資(zi)源(yuan)有限(xian)的设備(bei)上(shang),运行这个復(fu)雜(za)模型會(hui)产生很大問(wen)題(ti)。

Token剪枝:变好(hao)了(le),但(dan)沒(mei)完(wan)全(quan)好

針(zhen)对运算慢(man)的问题,研究人员給(gei)出了多个解(jie)決(jue)方案(an)。其(qi)中一種(zhong)常(chang)見(jian)的加速视觉 Transformer模型的方法是对进行token剪枝。

在运行时修(xiu)剪標(biao)記(ji),通(tong)過(guo)修剪不太(tai)重要的token产生高(gao)效(xiao)的Transformer。如DynamicViT分層(ceng)修剪冗(rong)余(yu)token,从而在分類(lei)任(ren)務(wu)中实现FLOPs減(jian)少(shao)。

然而,token剪枝有几个问题,其中最主(zhu)要的,是由于修剪token会产生信(xin)息(xi)損(sun)失(shi),因(yin)此,人们对ViT模型token的剪枝数量是有限的,为了减少信息损失,只(zhi)能对不重要的token进行修剪。

而且,为了使修剪过的token有效,人们需要再(zai)次(ci)训练模型。这就(jiu)造(zao)成額(e)外的资源消(xiao)耗(hao)。

更重要的是,token剪枝是动態(tai)的过程(cheng),需要根(gen)据不同的图像(xiang)或(huo)句(ju)子(zi)確(que)定(ding)token剪枝的不同数量。雖(sui)然这有利(li)于提(ti)高準(zhun)确性,但卻(que)不夠(gou)实用实用性,因为这种情(qing)況(kuang)下(xia),数据不能再进行批(pi)处理。

为了解决这个问题,人们需要在剪枝过程中添(tian)加掩码,而这会进一步影(ying)響(xiang)效率(lv)的提升(sheng)。

简单來(lai)說(shuo),token剪枝确实讓(rang)ViT跑(pao)得更快,但这是在信息损耗的代(dai)價(jia)上实现的。

TokenMerging:换个想法

怎(zen)樣(yang)才(cai)能使ViT的速度类似(si)于剪枝,但保(bao)持比剪枝更高的准确度呢(ne)?Meta AI研究團(tuan)隊(dui)给出了新的解题思路:Token Merging(ToMe)。

論(lun)文鏈(lian)接(jie):https://arxiv.org/pdf/2210.09461.pdf

Token Merging選(xuan)擇(ze)将token结合,而非(fei)进行剪枝。由于其定制(zhi)的匹(pi)配(pei)算法,它和(he)剪枝一样快,同时更准确。另(ling)外,它的工(gong)作(zuo)不需要任何(he)额外的训练,所以妳(ni)可以在巨(ju)大的模型上使用它来加快它们的速度,而不会犧(xi)牲(sheng)很多准确性。

Meta的目(mu)标是在现有的ViT中插(cha)入一个Token Merging的模塊(kuai),通过合并冗余的token,在不需要额外训练的前提下提高训练和推理的吞(tun)吐(tu)量。

基(ji)本思路是:在Transformer模型中,通过合并,使每(mei)层减少r个token。假设一个Transformer模型有L层,那麽(me)通过合并就可以减少rL个token。变量r的大小(xiao)决定了速度和精(jing)度的關(guan)系(xi),因为更少的标记意(yi)味(wei)著(zhe)更低(di)的准确度但更高的吞吐量。

值(zhi)得註(zhu)意的是,在Token Merging中,无论图像的內(nei)容(rong)如何,都(dou)会减少rL标记。这完美(mei)解决了token剪枝中无法进行批处理的问题。

通过ToMe,类似的token批在每个Transformer块中被合并:例(li)如,狗(gou)的皮(pi)毛(mao)被合并成一个token。

Token Merging被插入每个attention块和每个Transformer块。这也(ye)与token剪枝的工作流(liu)程形(xing)成对比。後(hou)者(zhe)傾(qing)向(xiang)于将剪枝步驟(zhou)放(fang)在每个Transformer块的開(kai)頭(tou)。

通过Token Merging,需要被合并的token的信息可以得到傳(chuan)播(bo),ViT也能够借(jie)助(zhu)attention块中的特(te)征(zheng)来决定需要合并哪(na)些(xie)token。

具(ju)體(ti)做(zuo)法

合并的第(di)一步是确定相(xiang)似的token。在Transformer中的QKV(query, key, value)已被提取(qu)的條(tiao)件(jian)下,通过消融(rong)实驗(yan),研究团队發(fa)现使用key可以最好衡(heng)量token之(zhi)間(jian)的相似度(下图紫(zi)色(se)部分)。

因为key已经總(zong)结了每个token中包(bao)含(han)的信息,以便(bian)用于Attention中的dot-product来衡量token间的相似度。

除(chu)了研究哪个指(zhi)标更好衡量token相似度外,還(hai)需要知(zhi)道什(shen)么距(ju)離(li)衡量相似度。通过实验研究团队发现,使用使用余弦(xian)距离来衡量toke之间的相似度可以獲(huo)得最好的精度和速度的关系。

确定了token的相似性,接下来需要一个快速的方法来确定哪些token需要匹配,以减少总数的r。

Meta团队没有使用kmeans聚(ju)类算法或图分割(ge)算法,而是使用匹配算法,因为后者不僅(jin)可以精准匹配每一层token的数量,还能快速執(zhi)行上千(qian)次匹配。这些都是叠(die)代聚类算法无法完成的。

因此,Meta团队提出了一个更有效的解决方案。

设计目标如下。1.)避(bi)免(mian)任何无法并行化(hua)的迭代,2.)希(xi)望(wang)合并的变化是漸(jian)进的,因为聚类对多少个标记可以合并到一个组中没有限制(这可能会对網(wang)絡(luo)产生不利影响),而匹配則(ze)使大多数标记没有被合并。

将所有token分为相同大小的2个集(ji)合A与B。 把(ba)从集合A中的每个token到B中与其最相似的token畫(hua)一条邊(bian)。 只留(liu)下最相似的r条边, 其余刪(shan)掉(diao)。 融合仍然相連(lian)的边(特征取均(jun)值)。 把这两个集合拼(pin)在一起, 得到最終(zhong)的合并结果。

通过这項(xiang)獨(du)特的技术,可以提高ViT模型的吞吐量和实際(ji)训练速度。使用Token Merging可以将训练速度提高一倍(bei)。它可以用于图像、视频和音频任务,并且仍然可以達(da)到最先进的准确性。

參(can)考(kao)资料(liao):

https://www.marktechpost.com/2022/11/10/meta-ai-researchers-propose-token-merging-tome-to-make-vision-transformers-run-faster/返(fan)回(hui)搜(sou)狐(hu),查(zha)看(kan)更多

責(ze)任编辑:

发布于:贵州黔东南岑巩县