广告产品酒水

酒水广告:如何制作一支吸引人的广告?

如果你是一名酒水销售人员,你一定知道广告对于销售的重要性。一支成功的广告可以吸引更多的消费者,提高你的销售量。但是,制作一支吸引人的广告并不是一件容易的事情。在这篇博客中,我们将探讨如何制作一支成功的酒水广告。

1. 确定目标受众并了解他们

在制作广告之前,你需要确定你的目标受众是谁。你需要了解他们的年龄、性别、职业、爱好等方面的信息。然后,你可以制作一个能够引起他们兴趣的广告。例如,如果你的目标受众是年轻人,你可以制作一支充满活力和创意的广告。如果你的目标受众是中年人,你可以制作一支更加稳重和传统的广告。

酒水广告图片

2. 突出你的产品特点

在广告中,你需要突出你的产品特点。你可以强调你的产品是如何与众不同的,或者是如何满足消费者的需求的。例如,如果你销售的是葡萄酒,你可以强调它的口感、产地、酿造工艺等方面的特点。

葡萄酒广告图片

3. 制作精美的广告素材

最后,你需要制作一些精美的广告素材,例如海报、广告语等等。你可以选择使用一些优美的图片或者是一些吸引人的字体设计。这些素材需要与你的产品和目标受众相符合,才能吸引更多的消费者。

总之,在制作酒水广告时,你需要确定你的目标受众并了解他们,突出你的产品特点,并制作精美的广告素材。如果你能够做到这些,你的广告一定会吸引更多的消费者,提高你的销售量。

结论

酒水广告的制作需要一定的技巧和经验。在制作广告之前,你需要了解你的目标受众并突出你的产品特点。然后,你需要制作一些精美的广告素材。如果你能够做到这些,你的广告一定会吸引更多的消费者,提高你的销售量。

饮料广告图片

广告产品酒水特色

1、识别狗狗的声音,自动翻译成文字,理解狗狗想说什么;

2、成就之路英雄无畏

3、会推荐你使用更多的功能,这样可以很快完成清洁。

4、Discuz论坛模板截图

5、超过0个物理解密关卡和种独特的解密玩法

广告产品酒水亮点

1、很棒的恶搞神器,很多场合都支持。

2、新增接单后可联系用户

3、扫描商品条形码能够鉴别商品真伪;

4、录房业主交款合同存档,方便进地段房;

5、随心所欲地创建和玩娃娃!

shibiegougoudeshengyin,zidongfanyichengwenzi,lijiegougouxiangshuoshenme;chengjiuzhiluyingxiongwuweihuituijiannishiyonggengduodegongneng,zheyangkeyihenkuaiwanchengqingjie。Discuzluntanmobanjietuchaoguo0gewulijiemiguankahezhongdutedejiemiwanfaChatGPT上(shang)下(xia)文(wen)碾(nian)壓(ya)64K開(kai)源(yuan)模(mo)型(xing)!UC伯(bo)克(ke)利(li):开源模型能(neng)力(li)嚴(yan)重(zhong)「虛(xu)標(biao)」|最(zui)新(xin)硬(ying)核(he)評(ping)測(ce)曝(pu)光(guang)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji):潤(run) 好(hao)困(kun)

【新智元導(dao)讀(du)】最近(jin),來(lai)自(zi) LMSYS Org的(de)研(yan)究(jiu)人(ren)員(yuan)不(bu)僅(jin)壹(yi)次(ci)發(fa)了(le)兩(liang)個(ge)支(zhi)持(chi)16k token上下文長(chang)度(du)的开源大(da)模型LongChat-7B和(he)LongChat-13B。而(er)且(qie),他(ta)們(men)還(hai)测試(shi)了號(hao)稱(cheng)支持长上下文能力的幾(ji)个大模型的實(shi)際(ji)表(biao)現(xian),发现开源模型虚标严重。

早(zao)先(xian)发布(bu)Vicuna模型和大語(yu)言(yan)模型排(pai)位(wei)賽(sai)的LMSYS Org(UC伯克利主(zhu)导)的研究人员又(you)开始(shi)搞(gao)事(shi)情(qing)了。

這(zhe)次,他们开发出(chu)了一个支持长上下文的开源大模型家(jia)族(zu)LongChat-7B和LongChat-13B,支持高(gao)達(da)16 Ktoken的上下文长度。

但(dan)是(shi)吧(ba),其(qi)实市(shi)面(mian)上早已(yi)出现支持65 K(MPT-7B-storyteller)和32 K(CHatGLM2-6B) token的選(xuan)手(shou)了。

抱(bao)著(zhu)(zhe)一邊(bian)向(xiang)他们虚心(xin)學(xue)習(xi)一边質(zhi)疑(yi)的研究者(zhe)心態(tai),他们設(she)計(ji)一个專(zhuan)門(men)评估(gu)大语言模型處(chu)理(li)长上下文任(ren)務(wu)的性(xing)能的工(gong)具(ju),测了测一眾(zhong)号称支持长上下文的模型们性能到(dao)底(di)怎(zen)麽(me)樣(yang)。

不测不知(zhi)道,一测发现之(zhi)前(qian)宣(xuan)称能支持长上下的开源模型几乎(hu)水(shui)平(ping)都(dou)不怎么样,而自家的LongChat在(zai)一众「开源李(li)鬼(gui)」裏(li)才(cai)是真(zhen)的李逵(kui)。

而商(shang)業(ye)閉(bi)源大模型的长上下文能力,是真的不錯(cuo),各(ge)个都很(hen)能打(da)。

在长距(ju)離(li)主題(ti)檢(jian)索(suo)任务上比(bi)較(jiao)LongChat和其他模型

长上下文「打假(jia)」

根(gen)據(ju)研究人员测试的結(jie)果(guo),闭源的商业长上下文模型確(que)实能兌(dui)现它(ta)们的承(cheng)諾(nuo):gpt-3.5-16k和Anthropic Claude在基(ji)準(zhun)测试中(zhong)几乎都达到了完(wan)美(mei)的性能。

然(ran)而,现有(you)的开源模型在长上下文长度方(fang)面的表现卻(que)比自己(ji)「聲(sheng)称」的要(yao)差(cha)很多(duo)。

大语言模型支持长上下文能力的等(deng)級(ji)

全(quan)新LongChat开源模型,支持16k上下文

LongChat模型不仅可(ke)以(yi)处理高达16k token的上下文长度,而且还能准确地(di)遵(zun)循(xun)對(dui)話(hua)中的人類(lei)指(zhi)令(ling),並(bing)在人类偏(pian)好基准MT-Bench中展(zhan)示(shi)出強(qiang)大的性能。

預(yu)覽(lan)版(ban)本(ben)可在HuggingFace上獲(huo)得(de):

· lmsys/longchat-13b-16k

· lmsys/longchat-7b-16k

感(gan)興(xing)趣(qu)的同(tong)学可以在命(ming)令行(xing)界(jie)面或(huo)Web界面中使(shi)用(yong)FastChat来跑(pao)一下试试:

Python python3 -m fastchat.serve.cli --model-path lmsys/longchat-7b- 16k

在研究團(tuan)隊(dui)的LongChat存(cun)儲(chu)庫(ku)中可以找(zhao)到用於(yu)重现研究结果结果的數(shu)据和代(dai)碼(ma),研究人员还貼(tie)心地提(ti)供(gong)了可視(shi)化(hua)效(xiao)果展示。

那(na)么我(wo)们来看(kan)看LongChat是怎么一步(bu)一步從(cong)LLaMA的2048个token的上下文长度訓(xun)練(lian)到16 K的。

第(di)一步:压縮(suo)旋(xuan)轉(zhuan)嵌(qian)入(ru)( Rotary embedding)

旋转位置(zhi)嵌入是一種(zhong)將(jiang)位置信(xin)息(xi)註(zhu)入Transformer的位置嵌入方法(fa)。

在Hugging Face的Transformer库中,它的实现方式(shi)如(ru)下:

Python query_states, key_states = apply_rotary_pos_emb(query_states, key_states, cos, sin, position_ids)

其中position_ids是索引(yin),如1、2、3等,用于表示句(ju)子(zi)中token的位置。

例(li)如,在句子「today is a good day」中,token「today」的position_ids為(wei)1。apply_rotary_pos_emb函(han)数根据提供的position_ids應(ying)用變(bian)換(huan)。

LLaMA模型使用旋转嵌入在序(xu)列(lie)长度2048上進(jin)行预训练的。

这就(jiu)意(yi)味(wei)着在预训练階(jie)段(duan)就觀(guan)察(cha)不到position_ids > 2048的情況(kuang)。

研究团队沒(mei)有强制(zhi)LLaMA模型適(shi)应position_ids > 2048,而是将position_ids > 2048的部(bu)分(fen)压缩到0到2048之間(jian)。

直(zhi)观地說(shuo),研究人员假设这种压缩可以最大程(cheng)度地重用在预训练阶段学到的模型權(quan)重。

他们通(tong)過(guo)将目(mu)标新上下文长度y除(chu)以2048来定(ding)義(yi)压缩比率(lv)。

然後(hou)将每(mei)个position_ids除以这个比率,并将其輸(shu)入apply_rotary_pos_emb函数。

Python query_states, key_states = apply_rotary_pos_emb(query_states, key_states, cos, sin, position_ids / ratio)

在此(ci)版本中,研究人员将模型微(wei)調(tiao)到上下文长度为16384,压缩率设为8。

例如,把(ba)position_ids = 10000的token变为position_ids = 10000 / 8 = 1250,而相(xiang)鄰(lin)的token10001变为10001 / 8 = 1250.125。

这个技(ji)術(shu)最先由(you)开源社(she)區(qu)的一个叫(jiao)Kaiokendev的开源愛(ai)好者发现(https://kaiokendev.github.io/context)并傳(chuan)播(bo)和討(tao)論(lun)。LMSys Org的研究人员发现这个技术确实很好使,而且这一步只(zhi)需(xu)要改(gai)一行代码,不需要进行训练。

第二(er)步:微调精(jing)选的对话数据库

在压缩嵌入之后,研究人员使用他们精心挑(tiao)选的对话数据集(ji)執(zhi)行微调过程。

研究团队重新使用了先前用来训练Vicuna的用戶(hu)分享(xiang)对话数据。

使用FastChat数据处理流(liu)程清(qing)理数据,截(jie)斷(duan)了这些(xie)对话,使其长度不超(chao)过16 K。

然后再(zai)使用标准下一个token预测損(sun)失(shi)对模型进行微调。

最后他们分別(bie)使用80,000个和18,000个对话对7B和13B模型进行微调。

假设在雲(yun)上使用A100花(hua)費(fei)每小(xiao)時(shi)3美元,7B模型的成(cheng)本約(yue)为300美元,而13B模型的成本约为700美元。

上下文能力驗(yan)證(zheng)工具:LongEval

为了验证商业闭源和开源模型宣传支持的长上下文能力(从8 K、32 K到100 K)到底有多强,研究团队开发了一套(tao)验证工具包(bao)。

不同的模型作(zuo)者可能对所(suo)謂(wei)的「长上下文能力」对有着不同的理解(jie)。

舉(ju)个例子,MPT-7B-StoryWriter所宣称的65 K上下文长度是否(fou)與(yu)OpenAI的ChatGPT在16 K上下文长度下具有相同的性能?

在LongChat开发过程中,同样的問(wen)题也(ye)困擾(rao)着研究团队。

如何(he)迅(xun)速(su)有效地确認(ren)一个新训练的模型是否能夠(gou)真地有效处理预期(qi)的上下文长度?

为了解決(jue)这个问题,研究团队可以基于需要LLM处理长上下文的任务进行评估。

例如文本生(sheng)成、检索、摘(zhai)要和长文本序列中的信息關(guan)聯(lian)。

受(shou)最近的研究啟(qi)发,研究人员们设计了一个名(ming)为LongEval的长上下文测试套件(jian)。

这个套件包括(kuo)两个難(nan)度不同的任务,提供了一种簡(jian)單(dan)快(kuai)捷(jie)的方式来衡(heng)量(liang)和比较长上下文的性能。

任务一:粗(cu)粒(li)度主题检索

在现实世(shi)界的长对话中,用户通常(chang)与聊(liao)天(tian)機(ji)器(qi)人的讨论會(hui)在多个主题间跳(tiao)转。

研究团队使用主题检索任务来模擬(ni)这种場(chang)景(jing)。

这个任务会要求(qiu)聊天机器人检索由多个主题組(zu)成的长对话中的第一个主题,来模拟这种情景。

示例任务如下:

Python … (instruction of the task) USER: I would like to discuss <TOPIC-1> ASSISTANT: Sure! What about xxx of <TOPIC-1>? … (a multi-turn conversation of <TOPIC-1>) USER: I would like to discuss <TOPIC-2> … USER: I would like to discuss <TOPIC-k> … USER: What is the first topic we discussed? ASSISTANT:

这个任务测试模型是否能够定位长下文中的一段文本并将其与正(zheng)确的主题名称相关联。

研究人员设计了很多个由400到600个token组成的对话,并隨(sui)机组合(he)它们达到到想(xiang)要测试的长度,将组合出来的长文本作为 Prompt.

所以,这是一个粗粒度的对话,因(yin)为當(dang)模型能够定位到距离正确位置不太(tai)遠(yuan)(<500个token距离)的位置时,它可能会給(gei)出正确的预测。

任务二:細(xi)粒度检索

为了进一步测试模型在长对话中定位和关联文本的能力,研究人员引入了更(geng)精细的行检索测试(Line Retrieval test)。

在这个测试中,聊天机器人需要精确地从长文檔(dang)中检索一个数字(zi),而不是从长对话中检索一个主题。

以下是一个示例:

Python line torpid-kid: REGISTER_CONTENT is< 24169> line moaning-conversation: REGISTER_CONTENT is< 10310> … line tacit-colonial: REGISTER_CONTENT is< 14564> What isthe <REGISTER_CONTENT> inline moaning-conversation?

这个任务最初(chu)是在「Little Retrieval Test」中被(bei)设计出来的。

原(yuan)始的测试中,是使用数字来表示一行,但研究人员发现较小的LLM通常無(wu)法很好地理解数字。

为了解开这些因素(su)并使其更适合测试不同大小的开源聊天机器人,他们通过使用随机的自然语言(例如「torpid-kid」)进行改进。

研究人员发现这两个任务都具有这几预期的特(te)點(dian):

1. 任务可以有效捕(bu)捉(zhuo)到文本生成、检索和长上下文信息关联的能力,最終(zhong)反(fan)映(ying)在检索准确性上。

2. 可以輕(qing)松(song)将测试擴(kuo)展到任意长度,以测试模型在不同上下文长度下的能力。

3. 研究人员已經(jing)对这两个任务进行了检查(zha),并观察到了预期的结果。

例如,对于使用2 K上下文进行预训练的原始LLaMA模型,在测试输入长度小于2 K时可以实现完美的准确性。

但对于超过2 K的测试输入,准确性几乎为零(ling)。

研究人员通过这个原理,就能检测不同模型对于不同上下文长度时,执行信息检索和关联相关信息的能力。

测评结果

根据粗粒度的主题检索测试结果,团队观察到开源的长上下文模型的性能似(si)乎没有自己宣称得那么好。

例如,Mpt-7b-storywriter声称具有84 K的上下文长度,但即(ji)使在它声称的上下文长度的四(si)分之一(16 K)处,准确率也仅达到50%。

Chatglm2-6B在长度为6 K(46%准确率)时无法可靠(kao)地检索第一个主题。

当在大于10 K的上下文长度上进行测试时,其准确率几乎为0%。

另(ling)一方面,研究人员观察到LongChat-13B-16K模型可靠地检索到第一个主题,并且准确率与gpt-3.5-turbo相当。

在更细粒度的行检索测试中,Mpt-7b-storywriter的表现甚(shen)至(zhi)比粗粒度情况下更差,准确率从约50%下降(jiang)到约30%。

Chatglm2-6B也出现了下降,在研究人员测试的最短(duan)长度(5K上下文长度)上表现也不太好。

相比之下,LongChat-13B-16K表现可靠,在12K的上下文长度內(nei)接(jie)近gpt-3.5/Anthropic-claude的能力。

解开LongEval中与LLM能力无关的因素

在主题和行检索测试中,研究人员观察到一些错誤(wu)是由与长上下文能力无关的因素引起(qi)的,比如指令跟(gen)随能力。

例如,在行检索测试中,模型可能会简单地回(hui)答(da)「当然,我会告(gao)訴(su)妳(ni)这个数字」,而不是按(an)照(zhao)要求回答实际的数字。

为了进行公(gong)平比较,研究人员采(cai)取(qu)了两个措(cuo)施(shi)来避(bi)免(mian)与长上下文能力无关的因素:

1)设计适当的提示詞(ci)

2)仅在模型按照研究人员的指令执行的情况下计算(suan)准确率。

人类偏好基准(MT-bench)

在前面的部分中,研究人员观察到LongChat模型在长距离检索任务上表现良(liang)好,但这是否会导致(zhi)人类偏好顯(xian)著下降呢(ne)?

为了测试它是否仍(reng)然符(fu)合人类的偏好,研究人员使用了GPT-4评分的MT-bench,这是一组具有挑戰(zhan)性的多輪(lun)对话问题。

研究人员发现,LongChat-13B-16K与其最接近的替(ti)代模型Vicuna-13B相比,确实在MT-Bench分数上略(lve)有下降,但在可接受的範(fan)圍(wei)内,这表明(ming)这种长距离能力并没有显著犧(xi)牲(sheng)其短距离能力。

同时,LongChat-13B-16K与其他相同規(gui)模的模型相比也具有競(jing)爭(zheng)力。

讨论分析(xi)

研究人员发现,当上下文长度接近16K时,LongChat-13B-16K在细粒度的行检索任务上出现了准确率下降的情况。

在他们的初步嘗(chang)试中,研究人员猜(cai)测这是因为接近最大的微调长度。

例如,使用更大的长度(例如32K)进行训练可以緩(huan)解这个问题。

研究人员正在積(ji)極(ji)努(nu)力解决这个问题,并计劃(hua)在不久(jiu)的将来发布中解决。

研究人员用表格(ge)形(xing)式定性地说明了性能水平,并且希(xi)望(wang)提出他们的最终思(si)考(kao):能够在一个上下文范围内生成文本,和真正的具備(bei)在宣称的上下文长度上能进行reasoning和检索,这两种能力是有很大差距的。

模型提供者通暢(chang)需要对模型进行良好的训练(例如使用高质量的长序列数据,或者像(xiang)研究人员探(tan)索过的进行压缩),以实现良好的长上下文文本生成、检索和推(tui)理能力。

雖(sui)然闭源模型基本在研究人员设计出的检索测试上都能达到要求,但开源模型提供者在自己宣传支持的长下文长度上,水分很大。

研究人员呼(hu)籲(xu)社区为长上下文聊天机器人貢(gong)獻(xian)更多的评估基准,并进一步理解和填(tian)補(bu)这一差距。

团队介(jie)紹(shao)

共(gong)同一作Dacheng Li

Dacheng Li目前是加(jia)州(zhou)大学伯克利分校(xiao)的博(bo)士(shi)生。本科(ke)畢(bi)业于加州大学聖(sheng)地亞(ya)哥(ge)分校,碩(shuo)士毕业于卡(ka)耐(nai)基梅(mei)隆(long)大学机器学习专业。他的主要研究方向是机器学习和分布式系(xi)統(tong)的交(jiao)叉(cha)領(ling)域(yu)。

共同一作Rulin Shao

Rulin Shao 目前,被錄(lu)取为華(hua)盛(sheng)頓(dun)大学博士。她(ta)本科毕业于西(xi)安(an)交通大学,硕士毕业于CMU机器学习专业。

Anze Xie

Anze Xie目前就读于加州大学圣地亚哥分校计算机专业,本科毕业于維(wei)斯(si)康(kang)星(xing)大学麥(mai)迪(di)遜(xun)分校。

Xuezhe Ma

Xuezhe Ma目前是南(nan)加州大学计算机系的助(zhu)理教(jiao)授(shou),本科和研究生毕业于上海(hai)交通大学,博士毕业于卡耐基梅隆大学。他的研究方向是提高表征(zheng)学习的效率,有效性等。

团队的其他几位成员就是LMSYS Org发起人和老(lao)熟(shu)人了:盛穎(ying),鄭(zheng)憐(lian)憫(min),Ion Stoica和張(zhang)昊(hao)等。

參(can)考資(zi)料(liao):

https://lmsys.org/blog/2023-06-29-longchat/返(fan)回搜(sou)狐(hu),查看更多

責(ze)任编辑:

发布于:湖北武汉江岸区