献爱生命，创意驾到！献血创意广告大赏
文章简介
献爱生命，创意驾到！献血创意广告大赏，是一个旨在推广献血文化的活动。本文将围绕该活动，从四个方面阐述其意义、目的、形式、效果。通过对这些方面的深入探讨，以期为读者呈现一个全面、深入的活动分析。活动意义
献爱生命，创意驾到！献血创意广告大赏，是一个旨在推广献血文化的公益活动。其意义在于鼓励公众积极参与献血行动，提高社会的公益意识和责任感。献血是一项极其重要的公共卫生事业，有助于挽救更多生命。通过广告形式推广献血文化，可以让更多人了解并参与献血活动，提高全民健康水平。活动目的
献爱生命，创意驾到！献血创意广告大赏，旨在通过创意广告的形式，提升公众对于献血的关注度和参与度。具体而言，该活动的目的包括以下几点：1. 提高公众对于献血的认知度：通过创意广告的宣传形式，让更多人了解献血的意义和重要性。2. 增加献血者的数量：通过广告的宣传，挖掘潜在的献血人群，吸引更多的人参与献血行动。3. 传递正能量：通过创意广告的形式，传递正能量，鼓励更多人参与到公益事业中来，提高社会的公益意识。活动形式
献爱生命，创意驾到！献血创意广告大赏采用的是创意广告的形式。通过广告的方式，将献血文化潜移默化地渗透到公众的生活中。不同于传统的宣传形式，创意广告更具有创意性和文化性。同时，广告可以利用现代社会的传媒平台，如电视、网络等，让更多人接受献血的理念。活动效果
献爱生命，创意驾到！献血创意广告大赏的效果非常显著。通过该活动，可以达到以下几个方面的效果：1. 提高公众对于献血的认知度。通过广告的宣传形式，让更多人了解献血的意义和重要性。2. 增加献血者的数量。通过广告的宣传，吸引更多的人参与献血行动，提高献血率。3. 传递正能量。通过创意广告的形式，传递正能量，鼓励更多人参与到公益事业中来，提高社会的公益意识。总结归纳
献爱生命，创意驾到！献血创意广告大赏，是一个将创意广告与公益事业相结合的公益活动。该活动通过创意广告的方式，让更多人了解和参与献血行动，提高公众对于献血的认知度和参与度，传递公益正能量，提高社会的公益意识。活动的意义在于鼓励公众积极参与献血行动，提高社会的公益意识和责任感。该活动的目的在于提高公众对于献血的认知度，增加献血者的数量，传递正能量。通过该活动，可以达到以上三个方面的效果，提高全民健康水平，促进社会的健康发展。问答话题：Q1：如何参加献爱生命，创意驾到！献血创意广告大赏？参加献爱生命，创意驾到！献血创意广告大赏，可以通过官网进行报名。报名成功后，可以提交自己的广告作品，获得大赏的评选资格。同时，也可以通过分享活动、参与公益行动等方式支持该活动。Q2：献爱生命，创意驾到！献血创意广告大赏的奖项有哪些？献爱生命，创意驾到！献血创意广告大赏的奖项包括金奖、银奖、铜奖等多个奖项。获奖者可以获得一定的奖金，同时也可以获得社会的认可和嘉奖。此外，该活动也将不定期地举办一些特别奖项，如最佳人气奖等。献爱生命，创意驾到！献血创意广告大赏特色
1、少儿百科：恐龙探秘海底世界科学声音未解之谜等
2、回合制的轻松社交，感受最真实的互动和邂逅;
3、个性化主题，二次元宅腐基炫酷萌甜动态桌面任你选，支持在线生成主题。
4、可以根据自己的需求来自定义相关的时间，还能智能监控；
5、超萌超好玩的糖果消除游戏
献爱生命，创意驾到！献血创意广告大赏亮点
1、主要是广电央视为主要内容
2、在决定了你的偶像养成路线之后，你所要做的就是尽快投入到相对应的能力培养中去。
3、个性化你的桌面壁纸用你喜欢的颜色。
4、神秘合伙人与你战斗
5、通知消息督促预警，会在第一时间送达“不出国门，遍知世界”
shaoerbaike：konglongtanmihaidishijiekexueshengyinweijiezhimidenghuihezhideqingsongshejiao，ganshouzuizhenshidehudonghexiehou;gexinghuazhuti，erciyuanzhaifujixuankumengtiandongtaizhuomianrennixuan，zhichizaixianshengchengzhuti。keyigenjuzijidexuqiulaizidingyixiangguandeshijian，hainengzhinengjiankong；chaomengchaohaowandetangguoxiaochuyouxi壹(yi)文(wen)解(jie)決(jue)所(suo)有(you)「語(yu)言(yan)模(mo)型(xing)」疑(yi)問(wen)：能(neng)不(bu)能訓(xun)多(duo)個(ge)epoch？怎(zen)麽(me)微(wei)調(tiao)效(xiao)率(lv)高(gao)？需(xu)要(yao)多少(shao)條(tiao)數(shu)據(ju)？ 新(xin)智(zhi)元(yuan)報(bao)道(dao) 編(bian)輯(ji)：LRS 【新智元導(dao)讀(du)】關(guan)於(yu)语言模型，妳(ni)的(de)问題(ti)可(ke)能已(yi)經(jing)有了(le)答(da)案(an)。 過(guo)去(qu)幾(ji)个月(yue)裏(li)，Meta的LLaMA引(yin)領(ling)了一場(chang)语言模型的開(kai)源(yuan)狂(kuang)潮(chao)，並(bing)且(qie)隨(sui)著(zhe)大(da)眾(zhong)對(dui)语言模型训練(lian)研(yan)究(jiu)的深(shen)入(ru)，很(hen)多问题也(ye)都(dou)有了答案。 比(bi)如(ru)需要人(ren)類(lei)反(fan)饋(kui)和(he)強(qiang)化(hua)學(xue)習(xi)來(lai)对齊(qi)语言模型嗎(ma)？语言模型在(zai)ChatGPT模擬(ni)数据上(shang)的效果(guo)怎么樣(yang)？是(shi)否(fou)可以(yi) 用(yong)多个epoch训练语言模型？ 最(zui)近(jin)，lighting.ai的首(shou)席(xi)教(jiao)研員(yuan)、前(qian)威(wei)斯(si)康(kang)星(xing)大学麥(mai)迪(di)遜(xun)分(fen)校(xiao)統(tong)計(ji)学助(zhu)理(li)教授(shou)Sebastian發(fa)布(bu)了一篇(pian)博(bo)客(ke)，介(jie)紹(shao)了一些(xie)解决上述(shu)疑问的研究成(cheng)果。 在特(te)定(ding)任(ren)務(wu)上微调语言模型 Goat模型是一个基(ji)于7B LLaMA微调的模型，在算(suan)術(shu)任务上的性(xing)能優(you)于GPT-4，在零(ling)样本(ben)設(she)置(zhi)中(zhong)還(hai)超(chao)越(yue)了75倍(bei)參(can)数量(liang)的540B PaLM 論(lun)文鏈(lian)接(jie)：https://arxiv.org/pdf/2305.14201.pdf Goat相(xiang)當(dang)于是一个專(zhuan)有用途(tu)的微调LLM，從(cong)直(zhi)覺(jiao)来看(kan)也肯(ken)定會(hui)优于GPT-4等(deng)通(tong)用聊(liao)天(tian)機(ji)器(qi)人。 不过对業(ye)务来說(shuo)，這(zhe)篇论文也打(da)开了专用模型的大門(men)，畢(bi)竟(jing)大部(bu)分公(gong)司(si)追(zhui)求(qiu)的都是在某(mou)一领域(yu)超越GPT-4即(ji)可。 雖(sui)然(ran)Goat并不是第(di)一个針(zhen)对特定任务進(jin)行(xing)微调的语言模型，还有大量的基于FLAN微调的工(gong)作(zuo)，但(dan)Goat取(qu)得(de)成功(gong)的兩(liang)个要素(su)在于： 1. 在一个更(geng)好(hao)的基礎(chu)语言模型上，在目(mu)標(biao)任务（相对于通用預(yu)训练或(huo)指(zhi)令(ling)微调）上进行有監(jian)督(du)微调； 2. LLaMA对数字(zi)的分詞(ci)技(ji)术（將(jiang)每(mei)个数字單(dan)獨(du)分配(pei)一个token） 从實(shi)驗(yan)結(jie)果可知(zhi)二(er)者(zhe)的结合(he)是很重(zhong)要的，第一點(dian)是因(yin)為(wei)原(yuan)始(shi)7 B LLaMA基础型號(hao)不如GPT-4；第二点是因为对OPT，GPT-J等模型的微调结果不如Goat好，因为其(qi)他(ta)模型的数字分词技术不统一。 也有人有疑问，为什(shen)么不用Wolfram Alpha或常(chang)規(gui)计算器等工具(ju)进行算数计算，而(er)非(fei)要用语言模型算数？ 对这篇论文来说，算术任务可以很容(rong)易(yi)地(di)合成数据集(ji)，評(ping)估(gu)也更方(fang)便(bian)，方便測(ce)試(shi)微调性能。 从Goat到(dao)Gorilla 另(ling)一个微调LLM以提(ti)高某一特定功能的例(li)子(zi)是Gorilla，一个专门用于生(sheng)成API调用的LLM。 论文链接：https://arxiv.org/abs/2305.15334 研究人员使(shi)用LLaMA-7 B基础模型，并对来自(zi)Torch Hub、TensorFlow Hub和HuggingFace的1645个API调用进行了微调，发現(xian)经过微调的Gorilla在API调用上优于其他未(wei)进行微调的LLM。 讓(rang)微调更高效 之(zhi)前提到的Goat模型使用低(di)秩(zhi)自適(shi)應(ying)（LoRA）技术以提高微调的效率，可以在单个24GB顯(xian)存(cun)GPU上对70億(yi)参数LLaMA模型进行微调。 论文链接：https://arxiv.org/abs/2305.14314 而最近发布的一个新技术QLoRA（量化LoRA）可以在单个 48GB显存的GPU上训练650亿参数的LLaMA模型，量化的4位(wei)参数设置下(xia)，训练後(hou)得到的65B Guanaco模型保(bao)持(chi)了完(wan)整(zheng)的16位微调任务性能，并且僅(jin)在微调24小(xiao)時(shi)后就(jiu)達(da)到了ChatGPT性能的99.3%。 微调语言模型需要多少数据？ 对于想(xiang)要定制(zhi)语言模型的从业者和研究人员来说，起(qi)步(bu)難(nan)题就是獲(huo)得足(zu)夠(gou)的数据进行微调。 最近发布的LIMA论文可能是一次(ci)微调上的突(tu)破(po)，研究结果表(biao)明(ming)，仅在1000个示(shi)例上进行微调的65 B LLaMA模型（以有监督的方式(shi)）并不落(luo)后于ChatGPT / GPT3.5等更大的模型。 论文链接：https://arxiv.org/abs/2305.11206 研究人员发现，在57%的情(qing)況(kuang)下，GPT-4仍(reng)然更好，但他們(men)觀(guan)察(cha)到，在43%的情况下，LIMA优于或相当于GPT-4，已经非常强了；或者从另一个角(jiao)度(du)来看，大約(yue)有一半(ban)的情况，LIMA可以优于GPT-4的前身(shen)ChatGPT/GPT3.5（也叫(jiao)DaVinci 003）。 不过还有一个问题是，同(tong)样是有监督微调后的LLaMA模型，为什么LIMA的表现比Alpaca好这么多？ 首先(xian)，LIMA基于65B LLaMA模型，而原始Alpaca模型基于7B LLaMA基础模型。 为了公平(ping)对比，作者使用65B基础模型復(fu)刻(ke)了Alpaca的训练过程(cheng)，即使用原始Alpaca項(xiang)目中描(miao)述的52000个样本进行训练。 所以可以得出(chu)结论，差(cha)異(yi)实際(ji)上来源于作者为LIMA精(jing)心(xin)策(ce)劃(hua)的训练集的質(zhi)量，使得LIMA可以擊(ji)敗(bai)在52倍数据上训练的相同的65B LLaMA基础模型。 不过还缺(que)少的一个基線(xian)对比和消(xiao)融(rong)研究是LIMA與(yu)使用RLHF而非有监督学习进行微调的65B LLaMA基础模型。 虽然LIMA的实验结果非常有前景(jing)，不过有一篇论文的研究结果也需要註(zhu)意(yi)，模仿(fang)学习得到的语言模型可能并沒(mei)有想象(xiang)中的那(na)么强。 论文链接：https://arxiv.org/abs/2305.15717 最近几个月，根(gen)据来自其他语言模型（如ChatGPT）的数据对LLM进行微调已成为常見(jian)做(zuo)法(fa)，不过研究人员发现，众包(bao)工作者对这些所謂(wei)的模仿模型评價(jia)很高。但事(shi)实證(zheng)明，这些模仿模型只(zhi)傾(qing)向(xiang)于模仿上遊(you)语言模型的風(feng)格(ge)，而非真(zhen)实性。 LIMA论文虽然没有使用模仿数据，而是使用精心设计的数据集，但仍然值(zhi)得强调的是，评估结果有时似(si)乎(hu)好得令人难以置信(xin)，我(wo)们需要更好的基準(zhun)测试。 人类反馈强化学习的替(ti)代(dai)方案 最近几个月，有监督微调成了微调语言模型的新範(fan)式，比如LIMA论文也是使用有监督微调，但也存在其他方法来替代基于人类反馈的强化学习。 直接偏(pian)好优化（DPO，Direct Preference Optimization）也是一種(zhong)全(quan)新的、可替代强化学习的方法，使用接近策略(lve)优化（PPO）的人类反馈，用于ChatGPT等指令微调模型。 研究人员表明，在RLHF中拟合獎(jiang)勵(li)模型的交(jiao)叉(cha)熵(shang)損(sun)失(shi)可以直接用于微调语言模型，而且根据基准测试，使用DPO更有效，并且在回(hui)复质量方面(mian)通常也优于RLHF/PPO 多个epoch训练会怎么样？ 微调模型需要一个预训练的基础模型，所以一个很自然的需求就是获得更好的基础模型。 对经典(dian)的机器学习模型、深度神(shen)经網(wang)絡(luo)以及(ji)最新的視(shi)觉Transformer模型训练数百(bai)个epoch是很常见的操(cao)作，不过大型语言模型通常指训练1个epoch，如果训练超过一个epoch会发生什么？ 论文链接：https://arxiv.org/pdf/2305.13230.pdf 事实证明，互(hu)聯(lian)网上的高质量文本数据比想象中的更少，此(ci)外(wai)，如果受(shou)版(ban)權(quan)保護(hu)的材(cai)料(liao)在未来被(bei)要求刪(shan)除(chu)，可能会进一步縮(suo)小数据集的规模。 论文实验结果表明，要是因为数据量少就训练多个epoch，可能会导致(zhi)模型过拟合。 另一个有趣(qu)的结论是：dropout可以幫(bang)助減(jian)少过度拟合，但其他技术如权重衰(shuai)减卻(que)并不能。 不过现在常用的大型语言模型模型，如LLaMA，Gopher，Chinchilla，GPT-3和PaLM都没有使用dropout，因为会减慢(man)学习速(su)度。 三(san)个开放(fang)问题 1. 只重复训练像(xiang)LIMA这样的高质量数据怎么样？ 从直觉上来看，这是有意義(yi)的，可能会对模型质量提升(sheng)有所帮助，不过壞(huai)消息(xi)是，从实际来看没有多大帮助。 研究人员对維(wei)基百科(ke)的数据进行了一项相关实验，相比C4来说他们認(ren)为维基百科是高质量的，不过事实证明，当维基百科数据在训练期(qi)間(jian)重复多个epoch后也发生了类似的退(tui)化现象。 2. 数据增(zeng)强有用吗？ 目前有几种数据增强技术，包括(kuo)回譯(yi)、同义词替換(huan)、句(ju)子重排(pai)以及使用模型合成数据（例如GPT-4），但还没有数据增强对模型训练效果的全面分析(xi)。 3. 微调是什么样的？同样的规則(ze)适用吗？ 根据作者的经验，训练3-5个小epoch是值得的，但目前也没有相关研究全面分析。 更高效的视觉Transformer EfficientViT是一种全新的视觉Transformer，在速度和准確(que)性之间提供(gong)了良(liang)好的平衡(heng)，其性能优于其他高效架(jia)構(gou)，如MobileNetV3和MobileViT，同时速度更快(kuai)。 论文链接：https://arxiv.org/abs/2305.07027 研究人员使用級(ji)联組(zu)注意力(li)，并为每个注意力頭(tou)提供完整特征(zheng)的不同分割(ge)（类似于组卷(juan)積(ji)）来减少多头自注意力層(ceng)中的冗(rong)余(yu)。 之前的研究主(zhu)要关注最佳(jia)的数据集大小和模型参数量，最近研究人员提出了推(tui)斷(duan)计算最佳模型形(xing)狀(zhuang)的方法，例如寬(kuan)度和深度，实验中的视觉Transformer性能优于大两倍的模型。 论文链接：https://arxiv.org/abs/2305.13035 此外，如果使用相同的计算資(zi)源预算来训练較(jiao)小的计算优化模型，其推理成本不到较大模型的一半。 参考(kao)资料： https://magazine.sebastianraschka.com/p/ahead-of-ai-9-llm-tuning-and-dataset返(fan)回搜(sou)狐(hu)，查(zha)看更多 責(ze)任编辑：