广告狗必备！加班锻炼出最优秀的创意

1. 加班锻炼对广告狗创意的重要性

在广告行业中，创意是一项非常重要的工作。要想在广告行业中成为一名顶尖的广告狗，创意的能力必须非常强。而为了提高自己的创意能力，加班锻炼是一个非常好的方法。

首先，加班锻炼可以增加身体的活力和体力。健康的身体是创意的基石，只有身体健康才能更好地发挥自己的创意能力。其次，加班锻炼可以提高自己的注意力和集中力。在广告行业中，需要具有一定的持续性的注意力，才能不断地创造出新的想法和创意。加班锻炼可以让自己的大脑更加清晰，注意力更加集中。

综上所述，加班锻炼对广告狗的创意能力提升有非常重要的作用。

2. 如何通过网络资源提高自己的创意能力

在当今的信息时代，网络资源成为了人们获取信息的重要渠道。在广告行业中，也可以通过网络资源来提高自己的创意能力。

首先，可以通过学习各种广告大师的经验，来提高自己的创意能力。许多广告大师都有自己的博客或者社交媒体账号，在这些网站上可以了解到大师们的想法和创意。其次，可以通过参加各种线上的广告创意比赛，来锻炼自己的创意能力。在比赛中，可以与其他广告狗交流、互动，从而得到更多的灵感和创意。

综上所述，网络资源是提高广告狗创意能力的一个非常好的渠道。

3. 广告狗必备！关键词的作用

在广告行业中，关键词是一个非常重要的概念。关键词可以指导广告创意的设计，从而让广告更加符合用户的需求。

首先，通过关键词的分析，可以了解到用户的需求和兴趣。在广告创意的设计中，可以根据用户的需求和兴趣来开发相应的创意。其次，关键词可以指导广告的投放。通过对关键词的分析，可以了解到用户的搜索行为和活动轨迹，从而精准地投放广告。

综上所述，关键词是广告狗创意设计的重要指导。

4. 如何开发出最优秀的广告创意

在广告行业中，最优秀的广告创意是能够引起用户兴趣并且能够传递品牌信息的创意。下面介绍几个开发最优秀广告创意的方法。

4.1. 研究用户行为和兴趣

了解用户的行为和兴趣，可以为广告创意的设计提供重要的指导。通过了解用户的需求和兴趣，可以更好地创造出符合用户需求的广告创意。

4.2. 多方面思考

在广告创意的设计中，不仅要考虑文字和图片的搭配，还要考虑音效、互动性等多方面因素。通过多方面思考，可以创造出更有创意的广告。

4.3. 跟上潮流

广告行业是一个时尚的行业，需要紧跟潮流。通过了解时下流行的趋势和热点，可以创造出更受用户喜欢的广告创意。

综上所述，通过研究用户行为和兴趣、多方面思考和跟上潮流，可以创造出最优秀的广告创意。

总结：

在广告行业中，创意是一项非常重要的工作。要想在广告行业中成为一名顶尖的广告狗，创意的能力必须非常强。为了提高自己的创意能力，可以通过加班锻炼和网络资源的学习来提升自己。关键词可以指导广告创意的设计，从而让广告更加符合用户的需求。要开发出最优秀的广告创意，需要研究用户行为和兴趣、多方面思考和跟上潮流。

问答话题：

1. 广告狗必备的技能有哪些？

除了创意能力以外，广告狗还需要具备市场营销、策划、设计等方面的技能。同时，语言表达能力、团队合作能力和交流能力也是广告狗必备的技能。

2. 如何提高自己的广告营销能力？

提高广告营销能力的方法有许多种，可以通过学习市场营销知识、了解用户行为和兴趣、多方面思考等方式来提高自己的广告营销能力。

广告狗必备！加班锻炼出最优秀的创意特色

1、【错题集分析】

2、有效提高用户的健康指数，还能详细记录你的运动细节。

3、对于比较喜欢听故事的用户来说，这是一款非常专业的故事播放软件。

4、进入关卡以后的玩家们就不要停下自己闯关的游戏脚步了,很多时候都要注意危险靠近;

5、各类最全的题库信息及时的了解，更好的享受到不同的真题信息在线学习的便捷。

广告狗必备！加班锻炼出最优秀的创意亮点

1、娱乐搞笑信息影视等众多

2、最关心社会结构和人们的生活，以及技术如何改变了它们

3、可以帮助用户减轻工作压力，不再需要线下跑腿，工作更轻松。

4、完成任务的效率决定这你的成长速度，每一场挑战都不要落下，参与其中；

5、触发羁绊情缘，释放合击神技，超炫酷的特效战斗，带给你视觉盛宴。

【cuotijifenxi】youxiaotigaoyonghudejiankangzhishu，hainengxiangxijilunideyundongxijie。duiyubijiaoxihuantinggushideyonghulaishuo，zheshiyikuanfeichangzhuanyedegushibofangruanjian。jinruguankayihoudewanjiamenjiubuyaotingxiazijichuangguandeyouxijiaobule,henduoshihoudouyaozhuyiweixiankaojin;geleizuiquandetikuxinxijishidelejie，genghaodexiangshoudaobutongdezhentixinxizaixianxuexidebianjie。真(zhen)·從(cong)零(ling)復(fu)刻(ke)ChatGPT！斯(si)坦(tan)福(fu)等(deng)開(kai)啟(qi)「紅(hong)睡(shui)衣(yi)」計(ji)劃(hua)，先(xian)开源(yuan)1.2萬(wan)億(yi)token訓(xun)練(lian)集(ji)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】从零打(da)造(zao)ChatGPT，AI从業(ye)者(zhe)大(da)團(tuan)結(jie)！

Meta AI开源的(de)大羊(yang)駝(tuo)LLaMA模(mo)型(xing)徹(che)底(di)點(dian)燃(ran)了(le)开源社(she)區(qu)的熱(re)情(qing)，並(bing)在(zai)此(ci)基(ji)礎(chu)上(shang)相(xiang)繼(ji)开發(fa)出(chu)了各(ge)種(zhong)類(lei)ChatGPT的羊驼Alpaca, Vicuna等。

但(dan)Meta只(zhi)是(shi)开源了LLaMA的權(quan)重(zhong)，训练用(yong)到(dao)的數(shu)據(ju)集并沒(mei)有(you)开源出來(lai)，對(dui)於(yu)那(na)些(xie)想(xiang)从頭(tou)开始(shi)训练LLaMA的从业者来說(shuo)，目(mu)前(qian)還(hai)没有开源方(fang)案(an)。

最(zui)近(jin)，由(you)Ontocord.AI，蘇(su)黎(li)世(shi)聯(lian)邦(bang)理(li)工(gong)學(xue)院(yuan)DS3Lab，斯坦福CRFM，斯坦福Hazy Research 和(he)蒙(meng)特(te)利(li)爾(er)学習(xi)算(suan)法(fa)研(yan)究(jiu)所(suo)的宣(xuan)布(bu)开启「红睡衣」（RedPajama）计划，旨(zhi)在生(sheng)成(cheng)可(ke)复現(xian)、完(wan)全(quan)开放(fang)、最先進(jin)的語(yu)言(yan)模型，即(ji)从零壹(yi)直(zhi)开源到ChatGPT！

下(xia)載(zai)地(di)址(zhi)：

https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T

預(yu)處(chu)理倉(cang)庫(ku)：https://github.com/togethercomputer/RedPajama-Data

「红睡衣」开源计划總(zong)共(gong)包(bao)括(kuo)三(san)部(bu)分(fen)：

1. 高(gao)質(zhi)量(liang)、大規(gui)模、高覆(fu)蓋(gai)度(du)的预训练数据集；

2. 在预训练数据集上训练出的基础模型；

3. 指(zhi)令(ling)調(tiao)優(you)数据集和模型，比(bi)基本(ben)模型更(geng)安(an)全、可靠(kao)。

目前红睡衣计划中(zhong)的第(di)一部分，即预训练数据集RedPajama-Data-1T已(yi)开源，包括七(qi)個(ge)子(zi)集，經(jing)過(guo)预处理後(hou)得(de)到的token数量大致(zhi)可以(yi)匹(pi)配(pei)Meta在原(yuan)始LLaMA論(lun)文(wen)中报告(gao)的数量，并且(qie)数据预处理相關(guan)腳(jiao)本也(ye)已开源。

完整(zheng)的RedPajama-Data-1T数据集需(xu)要(yao)的存(cun)儲(chu)容(rong)量為(wei)壓(ya)縮(suo)后3TB，解(jie)压后5TB，有條(tiao)件(jian)、有網(wang)速(su)的小(xiao)夥(huo)伴(ban)可以开始搞(gao)起(qi)来了！

目前开发团隊(dui)正(zheng)在橡(xiang)樹(shu)嶺(ling)領(ling)导计算設(she)施(shi)(OLCF)的支(zhi)持(chi)下开始训练模型，预计幾(ji)周(zhou)后即可开源。

通(tong)过OpenChatKit，研究人(ren)員(yuan)已经收(shou)到了数十(shi)万条高质量的自(zi)然(ran)用戶(hu)指令，將(jiang)用于发布 RedPajama 模型的指令优化(hua)版(ban)本。

复刻LLaMA

2023年(nian)2月(yue)27日(ri)，Meta推(tui)出LLaMa并发布了相关论文。

论文鏈(lian)接(jie)：https://arxiv.org/pdf/2302.13971.pdf

LLaMa實(shi)際(ji)上是一組(zu)基础语言模型的統(tong)稱(cheng)，其(qi)參(can)数範(fan)圍(wei)从70亿到650亿不(bu)等，其中LLaMA-13B（130亿参数）版本甚(shen)至(zhi)在大多(duo)数基準(zhun)測(ce)試(shi)中都(dou)优于1750亿参数的GPT-3；最大的LLaMA-65B和Chinchilla-70B和PaLM-540B相比也不落(luo)下風(feng)。

和之(zhi)前的大模型不同(tong)的是，LLaMa完全使(shi)用「公(gong)开数据集」就(jiu)達(da)到了SOTA，并不存在其他(ta)模型中「不可告人」的秘(mi)密(mi)，無(wu)需使用專(zhuan)用或(huo)只存在于虛(xu)空(kong)中的数据集。

具(ju)體(ti)使用的数据集和预处理操(cao)作(zuo)如(ru)下。

English CommonCrawl-占(zhan)比67%

使用CCNet pipeline对五(wu)个CommonCrawl dumps（2017-2020年）进行(xing)预处理，刪(shan)除(chu)重复的行，并用fastText線(xian)性(xing)分类器(qi)进行语言分类，去(qu)除非(fei)英(ying)语頁(ye)面(mian)，并用ngram语言模型过濾(lv)低(di)质量內(nei)容。

还训练了一个线性模型来对維(wei)基百(bai)科(ke)中用作参考(kao)文獻(xian)的页面與(yu)隨(sui)機(ji)采(cai)樣(yang)的页面进行分类，并去除未(wei)被(bei)分类为参考文献的页面。

C4-占比15%

在探(tan)索(suo)实驗(yan)中，研究人员觀(guan)察(cha)到使用多样化的预处理CommonCrawl数据集可以提(ti)高性能(neng)，所以将公开的C4数据集納(na)入(ru)我(wo)們(men)的数据。

Github-占比4.5%

使用谷(gu)歌(ge)BigQuery上的GitHub公共数据集，只保(bao)留(liu)在Apache、BSD和MIT許(xu)可下发布的項(xiang)目。

然后用基于行長(chang)或字(zi)母(mu)数字字符(fu)比例(li)的启发式(shi)方法过滤了低质量的文件，并用正則(ze)表(biao)达式删除了HTML boilerplate（如<header>等）。

最后在文件層(ceng)面上对所生成的数据集进行重复计算，并进行精(jing)確(que)匹配。

维基百科-占比4.5%

数据集中添(tian)加(jia)了2022年6月至8月期(qi)間(jian)的维基百科dumps，涵(han)盖20种语言，包括使用拉(la)丁(ding)字母或西(xi)裏(li)尔字母的语言，具体为bg, ca, cs, da, de, en, es, fr, hr, hu, it, nl, pl, pt, ro, ru, sl, sr, sv, uk；然后对数据进行预处理，以去除超(chao)链接、評(ping)论和其他格(ge)式化的html模板(ban)。

Gutenberg and Books3-占比4.5%

训练数据集中包括兩(liang)个書(shu)籍(ji)相关的语料(liao)库，Gutenberg Project为公共领域(yu)的书籍；ThePile中Books3部分是一个用于训练大型语言模型的公开数据集。

预处理操作主(zhu)要是删除重复内容超过90%的书籍。

ArXiv-占比2.5%

通过处理arXiv的Latex文件将科学数据添加到训练数据集中，删除了第一節(jie)之前的所有内容，以及(ji)书目；还删除了.tex文件中的註(zhu)釋(shi)，以及用户寫(xie)的内联擴(kuo)展(zhan)的定(ding)義(yi)和宏(hong)，以提高不同论文的一致性。

Stack Exchange-占比2%

Stack Exchange是一个高质量問(wen)題(ti)和答(da)案的网站(zhan)，涵盖了从计算机科学到化学等不同领域。保留了28个最大网站的数据，删除了文本中的HTML標(biao)簽(qian)，并按(an)分数（从高到低）对答案进行了排(pai)序(xu)。

分詞(ci)器（Tokenizer）

根(gen)据SentencePiece的实现使用字节对编碼(ma)（byte-pair-encoding，BPE）算法对数据进行分词，其中連(lian)續(xu)的数字被分割(ge)成單(dan)个数字。

最終(zhong)整个训练数据集在分词后獲(huo)得了大約(yue)1.4T的tokens，除了维基百科和圖(tu)书数据外(wai)，其他的数据在训练期间只使用一次(ci)，总共进行了约两个epochs

参考資(zi)料：

https://www.together.xyz/blog/redpajama返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

責(ze)任(ren)编辑：