公益广告案例赏析

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>清(qing)華(hua)等(deng)開(kai)源(yuan)「工(gong)具(ju)學(xue)習(xi)基(ji)準(zhun)」ToolBench，微(wei)調(tiao)模(mo)型(xing)ToolLLaMA性(xing)能(neng)超(chao)越(yue)ChatGPT

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】工具学习的(de)开源時(shi)代(dai)來(lai)了(le)！

人(ren)類(lei)具有(you)創(chuang)造(zao)和(he)利(li)用(yong)工具的能力(li)，使(shi)得(de)我(wo)們(men)可(ke)以(yi)突(tu)破(po)身(shen)體(ti)的限(xian)制(zhi)，探(tan)索(suo)更(geng)廣(guang)闊(kuo)的世(shi)界(jie)。

人工智能基礎(chu)模型也(ye)类似(si)，如(ru)果(guo)僅(jin)靠(kao)訓(xun)練(lian)階(jie)段(duan)得到(dao)的權(quan)重(zhong)，使用場(chang)景(jing)就(jiu)會(hui)非(fei)常(chang)受(shou)限，而(er)最(zui)近(jin)提(ti)出(chu)的工具学习（tool learning），將(jiang)特(te)定(ding)領(ling)域(yu)的專(zhuan)用工具與(yu)大(da)規(gui)模基础模型相(xiang)結(jie)合(he)，可以實(shi)現(xian)更高(gao)的效(xiao)率(lv)、性能。

不(bu)過(guo)目(mu)前(qian)工具学习的相關(guan)研(yan)究(jiu)還(hai)不夠(gou)深(shen)入(ru)，也缺(que)乏(fa)相关的开源數(shu)據(ju)和代碼(ma)。

最近，清华大学自(zi)然(ran)語(yu)言(yan)處(chu)理(li)实驗(yan)室(shi)等支(zhi)持(chi)的开源社(she)區(qu)OpenBMB （Open Lab for Big Model Base）發(fa)布(bu)了ToolBench項(xiang)目，可以幫(bang)助(zhu)开发者(zhe)構(gou)建(jian)开源、大规模、高質(zhi)量(liang)的指(zhi)令(ling)调優(you)数据，促(cu)進(jin)构建具有通(tong)用工具使用能力的大型语言模型。

倉(cang)庫(ku)鏈(lian)接(jie)：https://github.com/OpenBMB/ToolBench

ToolBench仓库中(zhong)提供(gong)了相关数据集(ji)、训练和評(ping)估(gu)腳(jiao)本(ben)，以及(ji)在(zai)ToolBench上(shang)微调的功(gong)能模型ToolLLaMA，具体特點(dian)為(wei)：

1. 支持單(dan)工具和多(duo)工具方(fang)案(an)

其(qi)中单工具設(she)置(zhi)遵(zun)循(xun)LangChain提示(shi)風(feng)格(ge)，多工具设置遵循AutoGPT的提示风格。

2. 模型回(hui)復(fu)不仅包(bao)括(kuo)最終(zhong)答(da)案，还包含(han)模型的思(si)維(wei)链过程(cheng)、工具執(zhi)行(xing)和工具执行结果

3. 支持真(zhen)实世界級(ji)別(bie)的复雜(za)性，支持多步(bu)工具调用

4. 豐(feng)富(fu)的API，可用於(yu)现实世界中的场景，如天(tian)氣(qi)信(xin)息(xi)、搜(sou)索、股(gu)票(piao)更新和PowerPoint自動(dong)化(hua)

5. 所(suo)有的数据都(dou)是(shi)由(you)OpenAI API自动生(sheng)成(cheng)並(bing)由开发團(tuan)隊(dui)进行过濾(lv)，数据的创建过程很(hen)容(rong)易(yi)擴(kuo)展(zhan)

不过需(xu)要(yao)註(zhu)意(yi)的是，目前发布的数据还不是最终版(ban)本，研究人員(yuan)仍(reng)然在對(dui)数据进行後(hou)处理来提高数据质量，并增(zeng)加(jia)真实世界工具的覆(fu)蓋(gai)範(fan)圍(wei)。

ToolBench

ToolBench的總(zong)体思路(lu)是基于BMTools，在有監(jian)督(du)数据中训练大型语言模型。

仓库中包含31.2萬(wan)次(ci)真实API调用得到的9800條(tiao)数据，涵(han)盖单工具场景和多工具场景，下(xia)面(mian)是单工具的統(tong)計(ji)信息。

其中每(mei)行数据都是壹(yi)個(ge)json dict，包含数据创建的提示模板(ban)、工具使用的人工指令（查(zha)詢(xun)）、中間(jian)思维/工具执行循環(huan)和最终答案。

Tool Descrition: BMTools Tool_name: translation Tool action: get_translation action_input: {"text": target texts,"tgt_lang": target language}

Generated Data: {"prompt":"Answer the following questions as best you can. Specifically, you have access to the following APIs:\n\nget_translation: . Your input should be a json (args json schema): {{\"text\" : string, \"tgt_lang\" : string, }} The Action to trigger this API should be get_translation and the input parameters should be a json dict string. Pay attention to the type of parameters.\n\nUse the following format:\n\nQuestion: the input question you must answer\nThought: you should always think about what to do\nAction: the action to take, should be one of [get_translation]\nAction Input: the input to the action\nObservation: the result of the action\n... (this Thought/Action/Action Input/Observation can repeat N times, max 7 times)\nThought: I now know the final answer\nFinal Answer: the final answer to the original input question\n\nBegin! Remember: (1) Follow the format, i.e,\nThought:\nAction:\nAction Input:\nObservation:\nFinal Answer:\n (2) Provide as much as useful information in your Final Answer. (3) Do not make up anything, and if your Observation has no link, DO NOT hallucihate one. (4) If you have enough information and want to stop the process, please use \nThought: I have got enough information\nFinal Answer: **your response. \n The Action: MUST be one of the following:get_translation\nQuestion: {input}\n Agent scratchpad (history actions):\n {agent_scratchpad}","query":"My intention is to convert the data provided in ?? ?? ??????? ??????? ?????? ???????? into Arabic(ara).\n","chains": [ {"thought":"I need to use the get_translation API to convert the text into Arabic.","action":"get_translation","action_input":"{\"text\": \"What are the three branches of the military?\", \"tgt_lang\": \"ara\"}","observation":"\"?? ?? ?????? ??????? ????? ?\""}],"answer":"The translation of \"What are the three branches of the military?\" into Arabic is \"?? ?? ?????? ??????? ????? ?\"."}

模型实验

機(ji)器(qi)评估：研究人员对每个工具隨(sui)机抽(chou)取(qu)100个链步（chain steps）来构建机器评估測(ce)試(shi)平(ping)臺(tai)，平均(jun)27个最终步驟(zhou)和73个中间工具调用步骤，其中最终步骤的评估使用Rouge-L指標(biao)，中间步骤的评估使用ExactMatch指标进行评估。

人工评估：在天气、地(di)圖(tu)、股票、翻(fan)譯(yi)、化学和WolframAlpha工具中随机抽取10个query，然后评估工具调用过程的通过率、最终答案以及和ChatGPT最终答案的比(bi)較(jiao)。

ChatGPT评估：通过ChatGPT对LLaMA和ChatGPT的答案和工具使用链进行自动评估。

评估结果如下（分(fen)数越高越好(hao)），可以看(kan)到ToolLLaMA在不同(tong)场景下与ChatGPT的性能相同或(huo)更好。

工具学习

在清华大学、人民(min)大学、北(bei)京(jing)郵(you)電(dian)大学等个國(guo)內(nei)外(wai)知(zhi)名(ming)高校(xiao)和大学聯(lian)合发布的一篇(pian)論(lun)文(wen)中，对工具学习进行了系(xi)统的研究，介(jie)紹(shao)了工具学习的背(bei)景，包括認(ren)知起(qi)源、基础模型的范式(shi)轉(zhuan)變(bian)，以及工具和模型的互(hu)補(bu)作(zuo)用。

论文链接：https://arxiv.org/pdf/2304.08354.pdf

文中还回顧(gu)了现有的工具学习研究，包括工具增強(qiang)型和工具导向(xiang)型学习，并制定了一个通用的工具学习框(kuang)架(jia)：從(cong)理解(jie)用戶(hu)指令开始(shi)，模型應(ying)該(gai)学会把(ba)一个复杂的任(ren)務(wu)分解成幾(ji)个子(zi)任务，通过推(tui)理动態(tai)地调整(zheng)计劃(hua)，并通过選(xuan)擇(ze)合適(shi)的工具有效地征(zheng)服(fu)每个子任务。

文中还討(tao)论了如何(he)训练模型以提高工具使用能力并促进工具学习的普(pu)及。

考(kao)慮(lv)到之(zhi)前的工作中缺乏系统的工具学习评估，研究人员用17種(zhong)有代表(biao)性的工具进行了实验，并展示了當(dang)前基础模型在熟(shu)练利用工具方面的潛(qian)力。

论文最后讨论了几个需要进一步研究的工具学习的开放(fang)性問(wen)題(ti)，例(li)如確(que)保(bao)安(an)全(quan)和可信賴(lai)的工具使用、用基础模型实现工具创建，以及解決(jue)个性化的難(nan)题。

參(can)考資(zi)料(liao)：

https://github.com/OpenBMB/ToolBench返(fan)回搜狐(hu)，查看更多

責(ze)任编辑：