为瘦身减肥产品做广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>首(shou)個(ge)模(mo)擬(ni)人(ren)類(lei)認(ren)知(zhi)的(de)思(si)維(wei)框(kuang)架(jia)OlaGPT：六(liu)大(da)模塊(kuai)增(zeng)強(qiang)語(yu)言(yan)模型(xing)，推(tui)理(li)能(neng)力(li)最(zui)高(gao)提(ti)升(sheng)85%

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】讓(rang)语言模型像(xiang)人类壹(yi)樣(yang)思考(kao)。

ChatGPT剛(gang)發(fa)布(bu)的時(shi)候(hou)，給(gei)了(le)我(wo)們(men)太(tai)多(duo)的震(zhen)撼(han)，模型在(zai)對(dui)話(hua)上(shang)的表(biao)現(xian)實(shi)在是(shi)太像人类了，以(yi)至(zhi)於(yu)產(chan)生(sheng)了语言模型具(ju)有(you)「思维能力」的錯(cuo)覺(jiao)。

不(bu)過(guo)在深(shen)入(ru)了解(jie)语言模型之(zhi)後(hou)，研(yan)究(jiu)人員(yuan)们也(ye)逐(zhu)漸(jian)发现了，基(ji)于高概(gai)率(lv)语言模式(shi)的再(zai)现與(yu)期(qi)望(wang)中(zhong)的「通(tong)用(yong)人工(gong)智能」還(hai)有很(hen)大差(cha)距(ju)。

在當(dang)前(qian)的大多數(shu)研究中，大型语言模型主(zhu)要(yao)是在特(te)定(ding)提示(shi)的引(yin)导下(xia)生成(cheng)思维鏈(lian)來(lai)執(zhi)行(xing)推理任(ren)務(wu)，沒(mei)有考慮(lv)人类的认知框架，使(shi)得(de)语言模型解決(jue)復(fu)雜(za)推理問(wen)題(ti)的能力与人类之間(jian)仍(reng)然(ran)存(cun)在著(zhe)顯(xian)着的差距。

人类在面(mian)对复杂的推理難(nan)题时，通常(chang)會(hui)使用各(ge)種(zhong)认知能力，並(bing)且(qie)需(xu)要与工具、知識(shi)和(he)外(wai)部(bu)環(huan)境(jing)信(xin)息(xi)的各个方(fang)面進(jin)行交(jiao)互(hu)，那(na)语言模型能不能模拟人类的思维流(liu)程(cheng)来解决复杂问题呢(ne)？

答(da)案(an)当然是可(ke)以！首个模拟人类认知處(chu)理框架的模型OlaGPT来了！

論(lun)文(wen)链接(jie)：https://arxiv.org/abs/2305.16334

代(dai)碼(ma)链接：https://github.com/oladata-team/OlaGPT

OlaGPT包(bao)括(kuo)多个认知模块，包括註(zhu)意(yi)力、記(ji)憶(yi)、推理、學(xue)習(xi)，以及(ji)相(xiang)應(ying)的調(tiao)度(du)和决策(ce)機(ji)制(zhi)；受(shou)人类主動(dong)学习啟(qi)发，框架中还包括一个学习單(dan)元来记錄(lu)之前的错誤(wu)和專(zhuan)家(jia)意見(jian)，并动態(tai)參(can)考来提升解决类似(si)问题的能力。

文中还概述(shu)了人类解决问题的常见有效(xiao)推理框架，并相应地(di)設(she)計(ji)了思维链（CoT）模板(ban)；还提出(chu)了一个全(quan)面的决策机制，可以最大限(xian)度地提高模型的準(zhun)確(que)性(xing)。

在多个推理数據(ju)集(ji)上进行了嚴(yan)格(ge)評(ping)估(gu)后得到(dao)的实驗(yan)結(jie)果(guo)表明(ming)，OlaGPT超(chao)越(yue)了此(ci)前最先(xian)进的基准，證(zheng)明了其(qi)有效性。

模拟人类的认知

目(mu)前的语言模型与期望中的 通用人工智能还有很大 差距，主要表现為(wei)：

1. 在某(mou)些(xie)情(qing)況(kuang)下生成的內(nei)容(rong)毫(hao)無(wu)意義(yi)，或(huo)者(zhe)偏(pian)離(li)了人类的價(jia)值(zhi)偏好(hao)，甚(shen)至会给出一些非(fei)常危(wei)險(xian)的建(jian)議(yi)，目前的解决方案是引入人类反(fan)饋(kui)的强化(hua)学习（RLHF）对模型輸(shu)出进行排(pai)序(xu)。

2. 语言模型的知识僅(jin)限于在訓(xun)練(lian)数据中明确提到的概念(nian)和事(shi)实。

在面对复杂问题时，语言模型也无法(fa)像人类一样適(shi)应變(bian)化的环境、利(li)用现有的知识或工具、反思歷(li)史(shi)教(jiao)训、分(fen)解问题，以及使用人类在長(chang)期进化中總(zong)结出的思维模式（如(ru)类比(bi)、歸(gui)納(na)推理和演(yan)繹(yi)推理等(deng)）来解决问题。

不过，让语言模型模拟人腦(nao)处理问题的过程还有許(xu)多 系(xi)統(tong)难题：

1. 如何(he)系统地模仿(fang)和编码人类认知框架中的主要模块，同(tong)时以可实现的方式根(gen)据人类的通用推理模式进行调度？

2. 如何引导语言模型像人类一样进行主动学习，即(ji)從(cong)历史错误或专家对困(kun)难问题的解决方案中学习和发展(zhan)？

雖(sui)然重(zhong)新训练模型对糾(jiu)正(zheng)后的答案进行编码可能是可行的，但(dan)显然成本(ben)很高而(er)且不靈(ling)活(huo)。

3. 如何让语言模型灵活地利用人类进化出的各种思维模式，从而提高其推理性能？

一个固(gu)定的、通用的思维模式很难适应不同问题，就(jiu)像人类在面对不同类型的问题时，通常会灵活地選(xuan)擇(ze)不同的思维方式，如类比推理、演绎推理等。

OlaGPT

OlaGPT是一个模拟人类思维的问题解决框架，可以增强大型语言模型的能力。

OlaGPT借(jie)鑒(jian)了认知架構(gou)（cognitive architecture）理论，把(ba)认知框架的核(he)心(xin)能力建模为注意力（attention）、记忆（memory）、学习（learning）、推理（reasoning）、行动选择（action selction）。

研究人员根据具體(ti)实现的需要对該(gai)框架进行了微(wei)调，并提出了一个适合(he)语言模型解决复杂问题的流程，具体包括六个模块：意圖(tu)增强模块（注意力）、记忆模块（记忆）、主动学习模块（学习）、推理模块（推理）、控(kong)制器(qi)模块（行动选择）和投(tou)票(piao)模块。

意图增强（Intention Enhance）

注意力是人类认知的一个重要組(zu)成部分，识別(bie)出相關(guan)的信息并过濾(lv)掉(diao)不相关的数据。

同样地，研究人员为语言模型设计了相应的注意力模块，即意图增强，旨(zhi)在提取(qu)最相关的信息，并在用戶(hu)输入和模型的语言模式之间建立(li)更(geng)强的关聯(lian)，可以被(bei)看(kan)作(zuo)是一个从用户表達(da)习慣(guan)到模型表达习惯的優(you)化轉(zhuan)換(huan)器。

首先通过特定的提示詞(ci)提前獲(huo)得LLMs的问题类型，然后重构提问的方式。

比如在问题的開(kai)頭(tou)加(jia)上一句(ju)「Now give you the XX（问题类型），question and choices:」；为了便(bian)于分析(xi)，提示中还需要加入「The answer must end with JSON format: Answer: one of options[A,B,C,D,E].」

记忆（Memory）

记忆模块在存儲(chu)各种知识庫(ku)信息方面起(qi)着至关重要的作用，已(yi)經(jing)有研究证明了当下语言模型在理解最新事实数据方面的局(ju)限性，而记忆模块着重于鞏(gong)固模型尚(shang)未(wei)内化的知识，并將(jiang)其作为长期记忆储存在外部库中。

研究人员使用langchain提供(gong)的记忆功(gong)能进行短(duan)期记忆，长期记忆則(ze)由(you)基于Faiss的矢(shi)量(liang)数据库实现。

在查(zha)詢(xun)过程中，其檢(jian)索(suo)功能可以从库中提取相关知识，涵(han)蓋(gai)了四(si)种类型的记忆库：事实、工具、筆(bi)记和思维（thinking），其中事实是现实世(shi)界(jie)的信息，如常识等；工具包括搜(sou)索引擎(qing)、计算(suan)器和维基百(bai)科(ke)，可以協(xie)助(zhu)语言模型完(wan)成一些无需为條(tiao)的工作；笔记主要记录一些疑(yi)难案例(li)和解决问题的步(bu)驟(zhou)；思考库主要存储由专家编寫(xie)的人类解决问题的思考模板，专家可以是人类，也可以是模型。

学习（Learning）

学习的能力对于人类不斷(duan)提升自(zi)我表现来說(shuo)至关重要，从本質(zhi)上講(jiang)，所(suo)有形(xing)式的学习都(dou)依(yi)賴(lai)于经验，语言模型可以从之前的错误中学习，从而实现快(kuai)速(su)提高推理能力。

首先，研究人员找(zhao)出语言模型无法解决的问题；然后在笔记库中记录专家提供的见解和解釋(shi)；最后选择相关的笔记来促(cu)进语言模型的学习，从而可以更有效地处理类似问题。

推理（Reasoning）

推理模块的目的是創(chuang)建基于人类推理过程的多个智能体，从而激(ji)发语言模型的潛(qian)在思维能力，进而解决推理问题。

该模块结合了多种思维模板，参考特定的思维类型，如橫(heng)向(xiang)思维、順(shun)序思维、批(pi)判(pan)性思维和整(zheng)合性思维，以促进推理任务。

控制器（Controller）

控制器模块主要用来处理相关的行动选择，具体包括模型的内部規(gui)劃(hua)任务（如选择某些模块来执行）以及从事实、工具、笔记和思维库中选择。

首先检索和匹(pi)配(pei)相关的库，检索到的内容隨(sui)后被整合到一个模板智能体中，要求(qiu)语言模型以異(yi)步的方式在一个模板下提供回(hui)复，就像人类在推理之初(chu)可能难以识别所有的相关信息一样，同样很难期望语言模型一开始(shi)就做(zuo)到這(zhe)一點(dian)。

因(yin)此，动态检索是根据用户的问题和中间的推理进度来实现的，使用Faiss方法为上述四个库创建嵌(qian)入索引，其中各个库的检索策略(lve)略有不同。

投票（voting）

由于不同的思维模板可能更适合不同类型的问题，研究人员设计了投票模块来提升多个思维模板之间的集成校(xiao)准能力，并多种投票策略来生成最佳(jia)答案以提高性能。

具体的投票方法包括：

1. 语言模型投票：引导语言模型在多个给定的选項(xiang)中选择最一致(zhi)的答案，并提供一个理由。

2. regex投票：用正则表达式精(jing)确匹配抽(chou)取答案以获取投票结果。

实验结果

为了评估该增强型语言模型框架在推理任务中的有效性，研究人员在兩(liang)类推理数据集上进行了全面的实验比較(jiao)。

从结果中可以看出：

1. SC（self-consistency）的性能优于GPT-3.5-turbo，表明在一定程度上采(cai)用集成方法确实有助于提高大规模模型的有效性。

2. 文中提出方法的性能超过了SC，在一定程度上证明了思维模板策略的有效性。

不同思维模板的答案表现出相当大的差异，在不同的思维模板下进行投票，最終(zhong)会比簡(jian)单地进行多輪(lun)投票产生更好的结果。

3. 不同思维模板的效果是不同的，循(xun)序渐进的解决方案可能更适合推理型问题。

4. 主动学习模块的性能明显优于零(ling)样本方法。

具体来说，随机、检索和组合列(lie)表现出更高的性能，即将具有挑(tiao)戰(zhan)性的案例作为笔记库纳入其中是一种可行的策略。

5. 不同的检索方案在不同的数据集上有不同的效果，总的来说，组合（combine）策略的效果更好。

6. 文中方法明显优于其他(ta)方案，这得益(yi)于整体框架的合理设计，包括主动学习模块的有效设计；思维模板实现了对不同模型的适应，不同思维模板下的结果是不同的；控制器模块起到了很好的控制作用，选择了与所需内容比较匹配的内容；投票模块设计的不同思维模板的集成方式是有效的。

参考資(zi)料(liao)：

https://github.com/oladata-team/OlaGPT返(fan)回搜狐(hu)，查看更多

責(ze)任编辑：