掌握H5行业，创意广告助您飞升!

ruguonishimaijia：【tiaozhanrenwu】wanjiakongzhiyigewuliaodeyuangongzaibangongshizhongyidong，wanjiazhinengzuozaizhuanyishang，caozuotuibujinxingyidongkongzhi。meizhanshengyigeyuangong，huihuode：gongsijifen+，zizhi+，xiaoyinbi+zaixujingdian，jingxiciji王(wang)小(xiao)川(chuan)大(da)模(mo)型(xing)首(shou)亮(liang)相(xiang)！70億(yi)參(can)數(shu)霸(ba)榜(bang)，清(qing)北(bei)搶(qiang)先(xian)用(yong)｜獨(du)家(jia)專(zhuan)訪(fang)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：好(hao)困(kun) 桃(tao)子(zi)

【新智元導(dao)讀(du)】今(jin)天(tian)，百(bai)川智能(neng)正(zheng)式(shi)發(fa)布(bu)70亿参数開(kai)源(yuan)中(zhong)英(ying)文(wen)大模型——baichuan-7B，壹(yi)舉(ju)拿(na)下(xia)多(duo)個(ge)評(ping)測(ce)榜單(dan)最(zui)佳(jia)成(cheng)績(ji)。

時(shi)隔(ge)兩(liang)个月(yue)，王小川組(zu)建(jian)的(de)「百川智能」在(zai)6月15日(ri)正式推(tui)出(chu)首个70亿参数中英文預(yu)訓(xun)練(lian)大模型——baichuan-7B。

baichuan-7B不(bu)僅(jin)在C-Eval、AGIEval和(he)Gaokao中文權(quan)威(wei)评测榜单上(shang)，以(yi)顯(xian)著(zhu)優(you)勢(shi)全(quan)面(mian)超(chao)過(guo)了(le)ChatGLM-6B等(deng)其(qi)他(ta)大模型，並(bing)且(qie)在MMLU英文权威评测榜单上，大幅(fu)領(ling)先LLaMA-7B。

目(mu)前(qian)baichuan-7B大模型已(yi)在Hugging Face、Github以及(ji)Model Scope平(ping)臺(tai)发布。

Hugging Face：https://huggingface.co/baichuan-inc/baichuan-7B

Github：https://github.com/baichuan-inc/baichuan-7B

Model Scope：https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary

多个中文评估(gu)基(ji)準(zhun)拿下7B最佳

為(wei)了驗(yan)證(zheng)模型的各(ge)項(xiang)能力(li)，baichuan-7B在C-Eval、AGIEval和Gaokao三(san)个最具(ju)影(ying)響(xiang)力的中文评估基准進(jin)行(xing)了綜(zong)合(he)评估，并且均(jun)獲(huo)得(de)了优異(yi)成绩，它(ta)已經(jing)成为同(tong)等参数規(gui)模下中文表(biao)現(xian)最优秀(xiu)的原(yuan)生(sheng)预训练模型。

在AGIEval的评测裏(li)，baichuan-7B综合评分(fen)達(da)到(dao)34.4分，遠(yuan)超LLaMA-7B、Falcon-7B、Bloom-7B以及ChatGLM-6B等其他开源模型。

在中文C-EVAL的评测中，baichuan-7B的综合评分达到了42.8分，超过了ChatGLM-6B的38.9分，甚(shen)至(zhi)比(bi)某(mou)些(xie)参数规模更(geng)大的模型還(hai)要(yao)出色(se)。

在 Gaokao评测中，baichuan-7B的综合评分达到了36.2分，显著领先於(yu)同参数规模的各種(zhong)其他预训练模型。

https://cevalbenchmark.com/static/leaderboard_zh.html（2023-06-15）

AGIEval评测基准由(you)微(wei)軟(ruan)研(yan)究(jiu)院(yuan)发起(qi)，旨(zhi)在全面评估基礎(chu)模型在人(ren)類(lei)認(ren)知(zhi)和問(wen)題(ti)解(jie)決(jue)相關(guan)任(ren)務(wu)上的能力，包(bao)含(han)了中國(guo)的高(gao)考(kao)、司(si)法(fa)考試(shi)，以及美(mei)国的SAT、LSAT、GRE和GMAT等20个公(gong)开且嚴(yan)謹(jin)的官(guan)方(fang)入(ru)學(xue)和職(zhi)業(ye)資(zi)格(ge)考试。

C-Eval评测基准由上海(hai)交(jiao)通(tong)大学、清華(hua)大学以及愛(ai)丁(ding)堡(bao)大学聯(lian)合創(chuang)建，是(shi)面向(xiang)中文語(yu)言(yan)模型的综合考试评测集(ji)，覆(fu)蓋(gai)了52个來(lai)自(zi)不同行业领域(yu)的学科(ke)。

Gaokao评测基准是復(fu)旦(dan)大学研究團(tuan)隊(dui)创建的评测框(kuang)架(jia)，以中国高考题目作(zuo)为数據(ju)集，用于测试大模型在中文语言理(li)解和邏(luo)辑推理能力方面的表现。

MMLU基准大幅领先LLaMA-7B

baichuan-7B不仅在中文方面表现优异，在英文上表现同樣(yang)亮眼(yan)。

在MMLU的评测中baichuan-7B综合评分高达42.5分，大幅领先英文开源预训练模型LLaMA-7B的34.2分以及中文开源模型ChatGLM-6B的36.9分。

MMLU由加(jia)州(zhou)大学伯(bo)克(ke)利(li)分校(xiao)等知名(ming)高校共(gong)同打(da)造(zao)，集合了科学、工(gong)程(cheng)、数学、人文、社(she)會(hui)科学等领域的57个科目，主(zhu)要目標(biao)是對(dui)模型的英文跨(kua)学科专业能力进行深(shen)入测试。其內(nei)容(rong)廣(guang)泛(fan)，從(cong)初(chu)級(ji)水(shui)平一直(zhi)涵(han)盖到高级专业水平。

萬(wan)亿数据、4K上下文、高效(xiao)穩(wen)定(ding)训练

训练语料(liao)对大模型的训练結(jie)果(guo)至关重(zhong)要。在構(gou)建预训练语料庫(ku)方面，百川智能以高質(zhi)量(liang)中文语料为基础，同时融(rong)合了优质的英文数据。

具體(ti)来說(shuo)，原始(shi)数据包括(kuo)自行抓(zhua)取(qu)的海量中英文互(hu)联網(wang)数据和部(bu)分开源的中英文数据，以及大量高质量知識(shi)性(xing)数据。

在数据质量方面，通过质量模型对数据进行打分，对原始数据集进行篇(pian)章(zhang)级和句(ju)子级的精(jing)確(que)篩(shai)選(xuan)。

在内容多样性方面，利用自研超大规模局(ju)部敏(min)感(gan)哈(ha)希(xi)聚(ju)类系(xi)統(tong)和语義(yi)聚类系统，对数据进行了多層(ceng)次(ci)多粒(li)度(du)的聚类，最終(zhong)构建了包含1.2万亿token的兼(jian)顧(gu)质量和多样性的预训练数据。

相較(jiao)于其他同参数规模的开源中文预训练模型，数据量提(ti)高了超过50%。

在万亿优质中英文数据的基础上，为了更好地(di)提升(sheng)训练效率(lv)，baichuan-7B深度整(zheng)合了模型算(suan)子来加快(kuai)計(ji)算流(liu)程，并針(zhen)对任务負(fu)載(zai)和集群(qun)配(pei)置(zhi)，自適(shi)應(ying)优化(hua)了模型并行策(ce)略(lve)以及重计算策略。

通过高效的训练过程調(tiao)度通信(xin)，baichuan-7B成功(gong)地實(shi)现了计算與(yu)通信的高效重疊(die)，进而(er)达到了超線(xian)性的训练加速(su)，在千(qian)卡(ka)集群上训练吞(tun)吐(tu)达到180+Tflops的业界(jie)领先水平。

同时，已有(you)的开源模型窗(chuang)口(kou)長(chang)度在2K以内，对于一些长文本(ben)建模任务，如(ru)需(xu)要引(yin)入外(wai)部知识做(zuo)搜(sou)索(suo)增(zeng)強(qiang)的場(chang)景(jing)，更长的處(chu)理长度有助(zhu)于模型在训练与推理階(jie)段(duan)捕(bu)获越(yue)多的上下文信息(xi)，2K的处理长度存(cun)在比较大的制(zhi)約(yue)。

经过优化的分詞(ci)算法

baichuan-7B基于高效的attention算子优化实现了万级別(bie)超长動(dong)態(tai)窗口的擴(kuo)張(zhang)能力，本次开源的预训练模型开放(fang)了4K上下文窗口，使(shi)模型应用场景更加广泛。

此(ci)外，baichuan-7B还对模型训练流程进行了深度优化，采(cai)用了更科学且稳定的训练流程和超参数选擇(ze)，使得 baichuan-7B模型的收(shou)斂(lian)速度大大提升。

与同等参数规模的模型相比，baichuan-7B在困惑(huo)度（PPL）和训练損(sun)失(shi)（training loss）等关鍵(jian)性能指(zhi)标上表现更加优秀。

开源免(mian)費(fei)可(ke)商(shang)用，清北已抢先体验

秉(bing)持(chi)开源精神(shen)，baichuan-7B代(dai)碼(ma)采用Apache-2.0協(xie)議(yi)，模型权重采用了免费商用协议，只(zhi)需进行簡(jian)单登(deng)記(ji)即(ji)可免费商用。

baichuan-7B此次开源的内容十(shi)分豐(feng)富(fu)，包含了推理代码、INT4量化实现、微调代码，以及预训练模型的权重。

其中，微调代码方便(bian)用戶(hu)对模型进行调整和优化；推理代码与INT4量化实现則(ze)有助于开发者(zhe)低(di)成本地进行模型的部署(shu)和应用；预训练模型权重开源後(hou)，用户则可以直接(jie)使用预训练模型进行各种实验研究。

据了解，北京(jing)大学和清华大学两所(suo)頂(ding)尖(jian)大学已率先使用baichuan-7B模型推进相关研究工作，并计劃(hua)在未(wei)来与百川智能深入合作，共同推动baichuan-7B模型的应用和发展(zhan)。

清华大学互联网司法研究院院长、计算機(ji)系教(jiao)授(shou)劉(liu)奕(yi)群认为， baichuan-7B模型在中文上的效果表现十分出色，它免费商用的开源方式展现出开放的态度，不仅貢(gong)獻(xian)社區(qu)，也(ye)推动技(ji)術(shu)发展。团队计划基于baichuan-7B模型开展司法人工智能领域的相关研究。

北京大学人工智能研究院助理教授楊(yang)耀(yao)東(dong)认为，baichuan-7B模型的开源將(jiang)对于中文基础语言模型的生态建設(she)及学术研究產(chan)生重要推动作用，同时他也表示(shi)将持續(xu)关註(zhu)相关领域探(tan)索，并且在中文大语言模型的安(an)全和对齊(qi)上进行进一步(bu)深入研究。

百川智能CEO王小川表示：「本次开源模型的发布是百川智能成立(li)2个月后的第(di)一个里程碑(bei)，对百川智能而言是一个良(liang)好的开局。baichuan-7B模型，不仅能为中国的AGI事(shi)业添(tian)磚(zhuan)加瓦(wa)，也为世(shi)界大模型开源社区贡献了新的力量。」

技术团队专访

Q：baichuan-7B如何(he)处理幻(huan)覺(jiao)问题，未来該(gai)如何提高结果正确性？

A：大模型在可見(jian)的未来还不能徹(che)底(di)解决幻觉问题，一方面通过强化学習(xi)来讓(rang)模型知道自己(ji)不知道，有效緩(huan)解幻觉，更重要的是需要靠(kao)「搜索增强」引入外部知识来逐(zhu)步解决幻觉问题。

Q：baichuan-7B能帶(dai)来哪(na)些商用價(jia)值(zhi)？

A：baichuan-7B作为在多个榜单评测效果成绩最佳的7B开源可商用大模型，填(tian)補(bu)了市(shi)场上缺(que)乏(fa)优质的针对中文优化的7B大模型的空(kong)白(bai)，是开发者理想(xiang)的7B大模型底座(zuo)。同时在商用价值方面，能夠(gou)在例(li)如文本生成，自动化寫(xie)作，数据分析(xi)，知识问答(da)，中英翻(fan)譯(yi)，个性化交互和专业领域个人小助手(shou)，比如醫(yi)療(liao)领域，給(gei)用户带来巨(ju)大的价值。

Q：baichuan-7B在评测榜的成绩达到最初的训练模型预期(qi)了嗎(ma)？

A：打榜并不是我(wo)們(men)的目的，我们相信好的数据和算法能力，评测自然(ran)会有好的结果，這(zhe)次baichuan-7B在多个最具影响力的评测中的优异表现也验证了百川的这个理念(nian)。

参考资料：

https://github.com/baichuan-inc/baichuan-7B返(fan)回(hui)搜狐(hu)，查(zha)看(kan)更多

責(ze)任编辑：