回家过年,温馨感人广告

回家过年,这是每年中国人最期待的一件事情。当街上挂起了红灯笼,商场里播放着熟悉的春节歌曲,我们就知道,春节已经来了。今年,一些温馨感人的广告让我们更加感受到了回家过年的重要性。本篇文章将从四个方面来探讨这些广告的内容和意义。

广告与亲情

亲情一直是中国文化中最重要的一部分。回家过年是人们一年中能够和家人在一起的最好机会。而一些温馨感人的广告正是抓住了这一点。各种广告都以家人团聚为主题,通过各种方式展现亲情的美好。例如,有的广告讲述了一个年迈父亲的故事,有的广告讲述了一个孩子离家多年后回家的经历,有的广告则是展现了全家人为了庆祝春节而共同努力。这些广告不仅仅是在向人们展现一个场景,更是在呼吁人们更加注重家庭,关心亲人。这样的温馨感人的广告,让人们重新认识到亲情的重要性,让更多的人去回家和家人共同度过春节。

另外,这些广告给观众带来了共鸣。随着社会的变化和生活的节奏加快,人们与家人在一起的时间越来越少。而这些广告却让人们想起了自己的家人和曾经的美好时光,让人们更加珍惜和关注自己的亲人。

广告与文化

中国的春节文化是世界上独一无二的。而在这些温馨感人的广告中,中国传统文化也表现得淋漓尽致。例如,有的广告中展现了中国年俗中的舞龙舞狮、放鞭炮和吃年夜饭等;有的广告中则是展现了中国人传统的婚嫁、亲情和友情等。这些广告用中国传统文化来传达关于亲情、友情、美好生活的信息,同时将中国文化向世界展示并宣传。

除此之外,这些广告也在传承中国传统。这些广告中的细节,如从饮食到家装、从岁月的变迁到道德伦理等,都在细致的展现着中国传统文化的精髓,向年轻一代传递着传统文化的信息,让这些文化得以更好地被弘扬和传承。

广告与情感营销

情感营销是一种通过让消费者在情感上产生共鸣来推销商品或服务的策略。而这些温馨感人的广告正是利用了情感营销的手段。这些广告往往通过强烈的情感渲染和情绪化的语言表述,让人们产生共鸣并对广告的商品或服务产生兴趣和好感。例如,有的广告中展现了一家人为了庆祝春节而共同努力的场景,让人们对家居装修、食品等相关产品产生了兴趣;有的广告则是以故事的形式来展现了某种产品或服务的优势,让人们对这些产品或服务感到好奇。这些广告通过情感营销的手段让人们感受到了品牌和产品的温情,从而引起人们在购物时的共鸣和认同。

广告与社会责任

除了情感营销的手段,这些广告也在传递着品牌的社会责任。这些广告所传递的信息,不仅仅是要让人们购买商品或服务,更是要让人们关注社会问题和文化传承。例如,有的广告会关注到家庭伦理、亲情等社会问题;有的广告则是关注孝道和传统文化的传承。这些广告所传递的信息,不仅仅是品牌宣传和商品销售,更是对当代社会所面临问题的关注和思考。这些广告通过品牌的社会责任来传达品牌的价值观,让消费者也对品牌产生了更多的信任和认同。

总结

这些温馨感人的广告,不仅仅是为了品牌的推广和营销,更是对人们生活方式、情感需求、文化价值观等方面的关注和思考。这些广告用温情传递品牌的价值观念,用情感营销博得消费者的认同,更传承着传统文化和社会责任。在这个充满商业气息的时代,这些广告的价值,不仅仅是商业上的成功,更在于对人性的关怀和社会问题的思考。

问答话题

1.为什么今年的春节广告会这么温馨感人?

答:今年的春节广告更加温馨感人,主要是因为品牌和营销人员逐渐认识到人们情感需求的重要性。随着生活水平的提高和生活节奏的加快,人们与家人在一起的时间越来越少。这些温馨感人的广告用温情传递品牌的价值观念,让消费者感受到品牌的关怀和认同。同时,这些广告也在传递着对家庭、传统文化等方面的关注和思考。

2.这些广告的价值是什么?

答:这些广告的价值,不仅仅是商业上的成功,更在于对人性的关怀和社会问题的思考。这些广告用温情传递品牌的价值观念,用情感营销博得消费者的认同,更传承着传统文化和社会责任。这些广告所传递的信息,不仅仅是要让人们购买商品或服务,更是要让人们关注社会问题和文化传承。这些广告通过品牌的社会责任来传达品牌的价值观,让消费者也对品牌产生了更多的信任和认同。

回家过年,温馨感人广告特色

1、【末日来临】遍地废墟,恐怖的病毒开始蔓延感染

2、大型的社交平台,华丽的服饰搭配,认识更多可爱的小姐姐,跟你一起战斗冒险。

3、以最高清的游戏画质为所有玩家,完美的还原了现实当中的赛车场景。

4、学汉语:小中高教材同步,田字格练字,词语成语诗词和文言文应有尽有

5、蓄力的方向要掌握好距离,不然没站稳掉落到湖中闯关失败了。

回家过年,温馨感人广告亮点

1、兵种也是很多的,不同的兵种如果进行搭配也是看不出来效果的,毕竟也是没有那么难的事情的。

2、精彩有趣的故事剧情丰富的关卡为游戏增添了趣味;

3、精选计划,为您和您的家人提供专属保险计划。

4、简洁的卡通画风更像是一个教育课本,不会让没有自控能力的孩子沉迷其中。

5、独特角色剧情,墨魂也有他的喜怒哀乐

【morilailin】biandifeixu,kongbudebingdukaishimanyanganrandaxingdeshejiaopingtai,hualidefushidapei,renshigengduokeaidexiaojiejie,genniyiqizhandoumaoxian。yizuigaoqingdeyouxihuazhiweisuoyouwanjia,wanmeidehaiyuanlexianshidangzhongdesaichechangjing。xuehanyu:xiaozhonggaojiaocaitongbu,tianzigelianzi,ciyuchengyushicihewenyanwenyingyoujinyouxulidefangxiangyaozhangwohaojuli,buranmeizhanwendiaoluodaohuzhongchuangguanshibaile。ChatGPT要(yao)怎(zen)麽(me)微(wei)調(tiao)?MIT韓(han)松(song)團(tuan)隊(dui)新(xin)作(zuo)告(gao)訴(su)妳(ni)!

新智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan):CVHub

作者(zhe):派(pai)派星(xing)

編(bian)輯(ji):好(hao)困(kun)

【新智元導(dao)讀(du)】眾(zhong)所(suo)周(zhou)知(zhi),遷(qian)移(yi)學(xue)習(xi)對(dui)於(yu)基(ji)礎(chu)模(mo)型(xing)適(shi)應(ying)下(xia)遊(you)任(ren)務(wu)很(hen)重(zhong)要。然(ran)而(er),对于許(xu)多(duo)的(de)私(si)有(you)基础模型,數(shu)據(ju)所有者必(bi)須(xu)與(yu)模型所有者分(fen)享(xiang)他(ta)們(men)的数据以(yi)微调模型,這(zhe)是(shi)非(fei)常(chang)昂(ang)貴(gui)的,並(bing)容(rong)易(yi)引(yin)起(qi)隱(yin)私問(wen)題(ti)(雙(shuang)向(xiang)的,壹(yi)個(ge)怕(pa)泄(xie)露(lu)模型,一个怕泄露数据)。此(ci)外(wai),对大(da)型基础模型進(jin)行(xing)微调是一項(xiang)計(ji)算(suan)密(mi)集(ji)型的任务,这对于大多数下游用(yong)戶(hu)来說(shuo)是不(bu)現(xian)實(shi)的。

本(ben)文(wen)中(zhong), 韩松团队提(ti)出(chu)了(le) 一个能(neng)夠(gou)保(bao)護(hu)隐私且(qie)高(gao)效(xiao)的迁移学习框(kuang)架(jia)——Offsite-Tuning,可(ke)以將(jiang)数十(shi)億(yi)級(ji)參(can)数的基础模型迁移到(dao)下游数据,而無(wu)需(xu)訪(fang)问完(wan)整(zheng)模型。

Paper: https://arxiv.org/pdf/2302.04870v1.pdf

Code: https://github.com/mit-han-lab/offsite-tuning

在(zai) Offsite-Tuning 中,模型所有者将輕(qing)量(liang)级适配(pei)器(qi)和(he)有損(sun)壓(ya)縮(suo)仿(fang)真(zhen)器發(fa)送(song)給(gei)数据所有者,数据所有者在仿真器的協(xie)助(zhu)下对适配器进行下游数据的微调。隨(sui)後(hou),經(jing)過(guo)微调的适配器返(fan)回(hui)给模型所有者,模型所有者将其(qi)插(cha)入(ru)(plug-in)完整模型以得(de)到迁移的模型。

Offsite-Tuning 保护了双方(fang)的隐私,并且比(bi)现有的需要访问完整模型權(quan)重的微调方法(fa)更(geng)具(ju)计算效率(lv)。論(lun)文在各(ge)種(zhong)大型語(yu)言(yan)和視(shi)覺(jiao)基础模型上(shang)證(zheng)明(ming)了 Offsite-Tuning的有效性(xing)。 Offsite-Tuning 可以達(da)到与基于全(quan)模型 Fine-Tuning 相(xiang)當(dang)的精(jing)度(du),同(tong)時(shi)又(you)能保护隐私和效率,并实现了 6.5 倍(bei)的速(su)度提升(sheng)和 5.6 倍的內(nei)存(cun)減(jian)少(shao)。

研(yan)究(jiu)背(bei)景(jing)

Comparing existing fine-tuning approa ches

由(you)于下述(shu)兩(liang)个原(yuan)因(yin),為(wei)下游任务调優(you)基础模型是困難(nan)的,如(ru)上圖(tu)所示(shi)。

首(shou)先(xian), 訓(xun)練(lian)大型基础模型通(tong)常需要大量的计算和数据,從(cong)而导致(zhi)較(jiao)高的训练成(cheng)本 (例(li)如,训练GPT-3預(yu)计需要超(chao)过400萬(wan)美(mei)元,训练Chat-GPT更是超过了1200万美元)。因此, 训练后的参数通常是專(zhuan)有的,而是不公(gong)開(kai)的 。 这意(yi)味(wei)著(zhu)(zhe)下游用户必须与模型所有者共(gong)享他们的帶(dai)有標(biao)簽(qian)的数据来对模型进行微调 (OpenAI Fine-tuning API [1] )。这可能會(hui) 代(dai)價(jia)高昂,并引发隐私问题,使(shi)有价值(zhi)的带标签数据處(chu)于風(feng)險(xian)之(zhi)中。 其次(ci), 即(ji)使下游用户可以拿(na)到预先训练的权值,在本地(di)執(zhi)行微调也(ye)相当昂贵,也很困难 。基础模型通常有大量的参数。例如,GPT-3模型有1750亿个参数,需要350GB的GPU内存来存儲(chu)参数和执行推(tui)理(li),更不用说训练了。苛(ke)刻(ke)的硬(ying)件(jian)需求(qiu)使得大多数終(zhong)端(duan)用户不可能执行迁移学习。

因此, 亟(ji)需一个保护隐私和更高效的框架来微调基础模型。

貢(gong)獻(xian)

为了解(jie)決(jue)上述挑(tiao)戰(zhan), 论文提出了Offsite-Tuning(場(chang)外微调),这是一种保护隐私和高效的迁移学习框架,該(gai)框架可以使基础模型迁移到下游任务,而无需访问完整的模型权重。如上图所示,Offsite-Tuning的流(liu)程(cheng)如下:

模型所有者向数据所有者发送一个 适配器(adapter) 和 一个仿真器(emulator) 数据所有者在仿真器的幫(bang)助下,利(li)用下游数据在 适配器 上进行微调 数据所有者 将微调后的适配器返回给模型所有者,模型所有者将其插入(plug-in)到整个模型中 ,从而为下游用户創(chuang)建(jian)一个经过适应的基础模型。

其中, 适配器用于使用少量参数对任务特(te)定(ding)的知識(shi)进行编碼(ma),而压缩仿真器模擬(ni)完整模型的其余(yu)部(bu)分的行为,并为微调适配器提供(gong)近(jin)似(si)的梯(ti)度。

因此,Offsite-Tuning 有幾(ji)大贡献:

Offsite-Tuning 保留(liu)了数据所有者的隐私 ,因为他们不需要直(zhi)接(jie)共享他们的業(ye)务数据。 Offsite-Tuning 保护了基础模型所有者的模型版(ban)权 ,因为完整的模型权重不共享,并且数据所有者训练的仿真器是有损的,性能高度下降(jiang)。 Offsite-Tuning也 比需要访问完整模型权重的现有微调方法更節(jie)省(sheng)資(zi)源 ,因为通过使用压缩仿真器对完整模型进行微调而不需要完整的模型。

论文在一系(xi)列(lie)语言和视觉基础模型上評(ping)估(gu)了Offsite-Tuning的性能,包(bao)括(kuo)GPT-2、OPT、BLOOM、CLIP和EVA。結(jie)果(guo)表(biao)明:

Offsite-Tuning 在多个下游任务上可以獲(huo)得与完整模型权重微调相当的结果,同时保护隐私和资源效率 。实现高达6.6×的速度提升和5.6×的内存减少。 Offsite-Tuning 還(hai)可以对以前(qian)在單(dan)个GPU上无法实现的模型进行微调 ,如OPT-6.7B和BLOOM-7.1B。

總(zong)的来说,Offsite-Tuning是一个实用的框架,可以安(an)全有效地将基础模型应用于更廣(guang)泛(fan)的实際(ji)应用中。

问题定義(yi)

Privacy requirements

论文在迁移学习設(she)置(zhi)中考(kao)慮(lv)了双方的隐私性: 数据所有者不能与模型所有者共享其标記(ji)的训练数据,而基础模型所有者不能与数据所有者共享他们的模型。论文需要 找(zhao)到一种方法来对数据所有者的数据进行调优模型,而不需要访问完整的模型权重。

Settings

给定由 参数化(hua)的基础模型 和下游数据集 ,利用下游数据集对模型进行微调,得到 , , 。为了实现私有和高效的迁移学习,论文希(xi)望(wang) 找到一个替(ti)代模型 (也稱(cheng)为仿真器),它(ta)(明顯(xian))比 更小(xiao)、更弱(ruo),这樣(yang)与下游用户共享 就(jiu)不会威(wei)脅(xie)到基础模型的所有权。然后,数据所有者在自(zi)己(ji)的数据集上优化替代模型,生(sheng)成 。 论文希望将训练好的权重 插入(Plug-in)原来的模型(即 )就可以与直接优化数据集上的 (即 )一样,实现了類(lei)似的性能,而不需要访问 本身(shen)。

Metrics

为了评估该方法的性能,论文定义了几个度量标準(zhun)。为了不失(shi)一般(ban)性,这裏(li)将使用语言模型来进行定义。

是指(zhi)预先训练的基础模型在 不进行微调时,在直接運(yun)行下游任务的性能 ( )。

是指在对下游数据集进行微调时的 小替代模型的性能 ( )

是指 使用来自替代模型的插入式(shi)训练权重的预训练基础模型的性能 ( )

能是指在下游数据集上直接微调基础模型而不考虑隐私性时的性能 ( )

Offsite-Tuning的核(he)心(xin)概(gai)念(nian)是,下游用户可以根(gen)据其私有数据进行基础模型微调,而无需直接访问完整模型。 论文通过使用仿真器生成模拟梯度来实现这一點(dian),可以利用仿真器来近似更新适配器。

为了证明该方法的有效性,论文要求:

Zero-shot performance < Plug-in performance: 表明调优有效地提高了在特定的下游数据集上的性能(否(fou)則(ze),就不需要进行调优)。

Emulator performance < Plug-in performance: 显示基础模型仍(reng)然在任务中生效(否则,下游用户将很樂(le)意只(zhi)使用微调后的仿真器)。

Plug-in performance ≈ Full fine-tuning performance:这样用户就不会为数据隐私犧(xi)牲(sheng)太(tai)多的性能

方法

Framework Overview

为了达到期(qi)望的性能,论文将基础模型 ,分为两个不同的組(zu)件: 一个小的、可训练的适配器,表示为 ,用于下游任务迁移, 模型其余部分记为 ,其参数要保持(chi)固(gu)定。具體(ti)来说, 可以定义为 和 的concat,这样 。 为了保护基础模型的所有权和提高效率,对参数固定的组件应用有损压缩,得到一个仿真器,表示为 。下游用户得到适配器和仿真器的组合(he),并能够通过更新进行模型调优。更新后的适配器表示为,将返回给上游基础模型所有者并集成到原始(shi)模型中,以在下游数据集上实现优越(yue)的性能。 需要註(zhu)意的是,由于有损压缩,使用的用户也无法达到可接受(shou)的性能水(shui)平(ping),即使进行微调。因此,在此过程中,模型所有权的完整性不会受到损害(hai),而压缩的结果是提高了整体效率。

所以, 確(que)定 、 、 的适当组合是一项重要的任务。直觀(guan)地说, 仿真器 应该与原始参数固定组件 具有相似性,以便(bian)在对下游数据集进行微调时,为更新适配器提供适当的梯度方向。同时, 仿真器不能过于精确,因为这将消(xiao)除(chu)下游用户对基础模型的需求。

接下来,论文将深(shen)入研究 、 、 的设计,并评估不同的设计如何(he)影(ying)響(xiang)上述指标。

Adapter Selection

Transformer架構(gou)已(yi)被(bei)广泛应用于各种基础模型中,如语言和视觉模型。在本討(tao)论中,论文将重点讨论針(zhen)对深度transformer骨(gu)幹(gan)的适配器的设计,它可以很容易地擴(kuo)展(zhan)到其他模型,如卷(juan)積(ji)神(shen)经網(wang)絡(luo)(CNNs)。

论文選(xuan)擇(ze)了基础模型的一个小子(zi)集作为适配器,它可以在各种下游数据集上进行训练。由于只更新了模型的一个子集,因此适配器必须可推广到不同的下游任务。 研究表明,transformer的不同層(ceng),从淺(qian)层到深层,编码不同层次的特征(zheng)抽(chou)象(xiang),更新层的选择(适配器的选择)会影响迁移学习性能。为了覆(fu)蓋(gai)广泛的任务, 论文选择在适配器中同时包括浅层和深层,从而形(xing)成了一个三(san)明治(zhi)设计, ? ? ( 浅层,深层作为适配器可训练,中間(jian)作为仿真器压缩固定)。实驗(yan)表明,这种适配器设计可以很好地用于各种下游任务,并且优于只微调最(zui)后几个层(即微调 ? )的常見(jian)做(zuo)法。

Emulator Compression

仿真器的使用是为了提供粗(cu)糙(cao)的梯度方向来更新适配器,同时保持与原始凍(dong)结组件的相似性。仿真器不能太精确,因为这将揭(jie)示關(guan)于原始模型的信(xin)息(xi)。此外,更小的仿真器大小会为下游用户提供更高效的微调过程。因此,论文的目(mu)标是在这三个需求之间找到一个平衡(heng)。

为了实现这种平衡,论文使用基于layer drop-based的压缩方法。具体来说,论文 均(jun)勻(yun)地从冻结参数的组件 中刪(shan)除一个层的子集,并使用剩(sheng)余的层作为仿真器 。论文发现 在仿真器中包含(han)冻结部分的第(di)一层和最后一层总是有益(yi)的(如上面(mian)的算法图所示)

此外,为了在保持近似精度的同时实现更高的压缩比,在原始组件 的監(jian)督(du)下,论文将知识蒸(zheng)餾(liu)应用到layer-dropped仿真器 上。蒸馏过程采(cai)用均方誤(wu)差(cha)(MSE)作为损失函(han)数,如下式所示:

式中, 是前一层 所產(chan)生的第i个輸(shu)入样本的隐藏(zang)表示,N是训练前数据集中的样本数。 论文发现,适当的蒸馏将有助于压缩模型与直接微调完整模型保持相似的精度。

实验

Results of Language Models

按(an)照(zhao)上文所述,Full ZS表示基础模型未(wei)微调在下游任务的性能,FT表示基础模型进行微调在下游任务的性能,表示模型Emulator ZS是压缩的仿真器的性能,OT Emulator是训练后的仿真器的性能,OT Plug-in是训练后的仿真器插入基础模型的性能。四(si)者的目标关系见上文。

Medium-sized models

论文首先评估参数量小于20亿个的中型语言模型的offsite-tuning,包括GPT-2-XL和OPT-1.3B。具体来说,GPT-2-XL有48层和16亿个参数,而OPT-1.3B有24层。上图是实验结果,可以证明offsite-tuning可以有效地适应中型语言模型(少于20亿个参数),同时保持高水平的性能,因为 plug-in的性能与全模型的微调性能相当,而仿真器的性能明显较低(di)(保证基础模型的所有权)。

Large models

接着,论文评估了具有超过60亿个参数的大型语言模型的offsite-tuning,包括32层的OPT-6.7B和30层的BLOOM-7.1B。由于计算资源有限(xian),论文无法在这些(xie)模型上执行完整的模型微调或(huo)仿真器蒸馏。因此,论文比较了offsite-tuning的性能和zero-shot的性能,并直接使用layer-drop的方法得到仿真器。从上表可以看(kan)出中,论文发现 plug-in性能明显优于zero-shot性能,而仿真器性能和plug-in性能之间存在明显的差距(ju)。这些发现表明,offsite-tuning可以有效地适应大型语言模型,同时保护模型和数据所有者的隐私。

Results of Vision Models

论文进一步(bu)评估了两种最先进的视觉基础模型的offsite-tuning:CLIP和EVA。这两种模型都(dou)使用了具有10亿个参数的ViT-G骨干。如上表所示,论文发现offsite-tuning在保持高水平性能的同时有效地适应了视觉模型。 plug-in的性能与全模型的微调性能相当,而仿真器的性能僅(jin)仅略(lve)低。这可能是由于在这些数据集上使用大视觉模型和小视觉模型之间的差異(yi)并不显著,因此仿真器的性能并不显著低于插件的性能。作者预计,offsite-tuning将在更具挑战性的视觉任务上产生更重要的结果

消融(rong)实验

Position And Aumber Of Adaptor Layers

适配器层的数量和位(wei)置的消融研究

在具有相同数量的可训练层数的情(qing)況(kuang)下, 对语言模型的頂(ding)层和底(di)层同时进行微调比只微调顶层或底层要有效得多。

compression methods for the emulator

layer-drop方法在两个方面具有优越性:(1)在减少仿真器大小的同时,有效地保持了plug-in性能;(2)在插件性能和仿真器性能之间产生了差距,保护了模型所有者的隐私。

effect of emulator distillation

仿真器的蒸馏提高了offsite-tuning的plug-in性能,同时保持完整的模型隐私。上图分数是WikiText-2上的验证困惑(huo)度perplexities(困惑度越低越好)

Efficiency

微调加(jia)速和峰(feng)值内存节省

offsite-tuning的关鍵(jian)效率优勢(shi)是,它不仅可以减少可训练参数的数量,而且还可以减少在微调过程中需要放(fang)置在设備(bei)上的参数的总数。这将显著提高微调吞(tun)吐(tu)量和减少内存占(zhan)用空(kong)间。为了证明offsite-tuning的有效性,论文进行了实验,并将结果呈(cheng)现在上表中。结果表明,当offsite-tuning与LoRA结合时,论文实现了令(ling)人(ren)印(yin)象深刻的6.5倍的加速和5.6倍的内存使用减少。这使得offsite-tuning成为在资源約(yue)束(shu)设备上微调大型基础模型的一个有吸(xi)引力(li)的解决方案(an)。

总结

论文提出了offsite-tuning,一种可以保护隐私和有效的迁移学习框架,该框架可以使基础模型适应于下游任务,而不需要访问完整的模型参数。offsite-tuning对于数十亿参数的语言和视觉基础模型是有效的。offsite-tuning使用户能够有效地定制(zhi)基础模型,而无需擔(dan)心数据隐私和模型隐私。

注:韩松教(jiao)授(shou)畢(bi)业于清(qing)華(hua)大学電(dian)子系本科(ke),斯(si)坦(tan)福(fu)大学电子系博(bo)士(shi),師(shi)从 NVIDIA(英(ying)偉(wei)达)首席(xi)科学家(jia) William J. Dally 教授。现任麻(ma)省理工(gong)学院(yuan)(MIT)电氣(qi)工程和计算機(ji)科学系助理教授,其研究广泛涉(she)足(zu)深度学习和计算机体系结构,专注模型压缩領(ling)域(yu)。

参考资料(liao):

[1] https://beta.openai.com/docs/guides/fine-tuning返回搜(sou)狐(hu),查(zha)看更多

責(ze)任编辑:

发布于:山东潍坊坊子区