注册类cpa广告联盟

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>GPT-4取(qu)代(dai)數(shu)據(ju)分(fen)析(xi)師(shi)，成(cheng)本(ben)僅(jin)3000！阿(e)裏(li)達(da)摩(mo)院(yuan)&NTU論(lun)文(wen)引(yin)熱(re)議(yi)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】GPT-4淘(tao)汰(tai)数据分析师，仅需(xu)幾(ji)千(qian)元。

近(jin)來(lai)，想(xiang)必(bi)很(hen)多(duo)人(ren)被(bei)壹(yi)份(fen)「GPT-4取代数据分析师」核(he)算(suan)成本的(de)研(yan)究(jiu)报告(gao)驚(jing)到(dao)了(le)。

论文內(nei)容(rong)直(zhi)戳(chuo)痛(tong)點(dian)：

使(shi)用(yong)GPT-4的成本大(da)約(yue)是(shi)雇(gu)傭(yong)初(chu)級(ji)数据分析师的0.71％。

论文地(di)址(zhi)：https://arxiv.org/pdf/2305.15038.pdf

這(zhe)份来自(zi)阿里达摩院和(he)南(nan)洋(yang)理(li)工(gong)大學(xue)的最(zui)新研究，明(ming)晃(huang)晃地告訴(su)数据分析师，我(wo)要(yao)取代妳(ni)們(men)，这就(jiu)是證(zheng)据。

你以(yi)為(wei)高(gao)级数据分析师，會(hui)逃(tao)過(guo)一劫(jie)嗎(ma)？

研究人員(yuan)稱(cheng)，使用GPT-4的成本是雇佣高级数据分析师的0.45％。

这是什(shen)麽(me)概(gai)念(nian)？

根(gen)据就業(ye)在(zai)線(xian)社(she)區(qu)Glassdoor統(tong)計(ji)，一位(wei)高级数据分析师年(nian)薪(xin)大约10萬(wan)美(mei)元（70万人民(min)幣(bi)）。

要是換(huan)成GPT-4，仅需要450美元，也(ye)就3000元左(zuo)右(you)。

從(cong)70万到3000，簡(jian)直就是成本爆(bao)破(po)！

網(wang)友(you)表(biao)示(shi)，想到成本会这么低(di)，但(dan)沒(mei)料(liao)到这么低。

框(kuang)架(jia)

總(zong)之(zhi)，这篇(pian)研究做(zuo)出(chu)了以下(xia)几点貢(gong)獻(xian)：

· 首(shou)次(ci)提(ti)出「GPT-4是否(fou)是一個(ge)優(you)秀(xiu)数据分析师」的研究問(wen)題(ti)，並(bing)對(dui)其(qi)利(li)弊(bi)進(jin)行(xing)了定(ding)量(liang)評(ping)估(gu)。

· 对於(yu)这樣(yang)一个典(dian)型(xing)的数据分析师的工作(zuo)範(fan)圍(wei)，提出了一个端(duan)到端的自動(dong)框架来进行数据收(shou)集(ji)、可(ke)視(shi)化(hua)和分析。

· 对GPT-4的產(chan)出进行了系(xi)统的、專(zhuan)业的人工评估。有(you)良(liang)好(hao)質(zhi)量的数据分析和洞(dong)察(cha)力(li)可以被認(ren)为是NLP社区数据分析的第(di)一个標(biao)桿(gan)。

为了搞(gao)清(qing)楚(chu)GPT-4能(neng)否成为一个好数据分析师，研究人员設(she)计了一个端到端的框架。

GPT-4在上(shang)下文理解(jie)、代碼(ma)生(sheng)成、数据故(gu)事(shi)方(fang)面(mian)的能力逐(zhu)漸(jian)嶄(zhan)露(lu)頭(tou)角(jiao)，而(er)这項(xiang)研究的目(mu)的就是使用GPT-4来實(shi)現(xian)整(zheng)个数据分析过程(cheng)的自动化。

论文中(zhong)，研究人员展(zhan)示了GPT-4作为数据分析师流(liu)程。

基(ji)本上有三(san)个步(bu)驟(zhou)：（1）代码生成（藍(lan)色(se)箭(jian)头所(suo)示），（2）代码執(zhi)行（橙(cheng)色箭头所示），以及(ji)（3）分析生成（綠(lv)色箭头所示）。

整个框架的算法(fa)过程如(ru)下：

第1步：代码生成

第一步的輸(shu)入(ru)包(bao)含(han)一个问题和数据庫(ku)模(mo)式(shi)。这里的目标是生成代码，以便(bian)在後(hou)面的步骤中提取数据和繪(hui)制(zhi)圖(tu)表。

研究者(zhe)利用GPT-4来理解问题和模式中多个数据库表之間(jian)的關(guan)系。

由(you)于数据安(an)全(quan)的原(yuan)因(yin)，仅提供(gong)了数据库表的模式。大量的原始(shi)数据仍(reng)然(ran)被安全地離(li)线保(bao)存(cun)，并將(jiang)在后面的步骤中使用。

这一步的设计提示如表1所示。按(an)照(zhao)提示，可以得(de)到一段(duan)包含SQL查(zha)詢(xun)的python代码。

第2步：代码执行

正(zheng)如前(qian)面提到的，为了維(wei)護(hu)数据安全，研究人员在离线狀(zhuang)態(tai)下执行GPT-4生成的代码。

这一步的输入是步骤1中生成的代码，以及数据库中的原始数据，

如框架图所示。通(tong)过使用「conn = sqlite3.connect([database file name])」定位数据目錄(lu)。

如代码中的表1所示，这个步骤涉(she)及大量的原始数据。通过执行python代码，我们能夠(gou)得到「figure.pdf」中的图表，以及「data.txt」中保存的提取数据。

第3步：分析生成

在獲(huo)得提取的数据后，研究者的目标是产生数据分析和洞察力。

为了確(que)保数据分析與(yu)原始查询相(xiang)一致(zhi)，同(tong)時(shi)使用问题和提取的数据作为输入。研究人员为这个步骤的GPT-4设计的提示語(yu)如表2所示。

在这个过程中，研究人员没有对提取数据生成一段描(miao)述(shu)，而是指(zhi)示GPT-4用5个要点来生成分析和見(jian)解，并強(qiang)調(tiao)关鍵(jian)要点。

有一点需要註(zhu)意(yi)的是，在此(ci)，研究人员也考(kao)慮(lv)使用生成的图表作为输入的替(ti)代方案(an)。

因为「GPT-4的技(ji)術(shu)报告」提到，它(ta)可以将图标作为输入。不(bu)过，这个功(gong)能還(hai)没全面開(kai)放(fang)。

由于提取的数据基本上包含的信(xin)息(xi)量与生成的图表至(zhi)少(shao)相同，因此研究人员只(zhi)使用「提取数据」作为输入。

从初步的实驗(yan)来看(kan)，GPT-4能够从数据本身(shen)理解趨(qu)勢(shi)和相关性(xing)，而不需要看到数据。

为了讓(rang)框架更(geng)加(jia)实用，从而有可能幫(bang)助(zhu)人類(lei)数据分析师提高其日(ri)常(chang)表现。研究人员增(zeng)加了一个利用外(wai)部知(zhi)識(shi)源(yuan)的選(xuan)项，如算法1所示。

由于实際(ji)的数据分析师角色通常需要相关的业務(wu)背(bei)景(jing)知识，研究人员设计了一个外部知识檢(jian)索(suo)模型g(·)，从外部知识源（如谷(gu)歌(ge)）查询实时在线信息（I）。在这样的方案中，GPT-4将数据（D）和在线信息（I）都(dou)作为输入来生成分析（A）。

实验

数据集

由于没有完(wan)全匹(pi)配(pei)的数据集，研究人员选擇(ze)了一个最相关的数据集——NvBench。

他(ta)们从不同領(ling)域(yu)隨(sui)機(ji)选择了100个不同图表类型，和不同難(nan)度(du)的问题来进行主(zhu)要实验。

图表类型包括(kuo)：條(tiao)形(xing)图、疊(die)加条形图、线形图、散(san)点图和餅(bing)图等(deng)。

难度等级包括：简單(dan)、中等、困(kun)难和極(ji)难。

领域包括：體(ti)育(yu)、藝(yi)术、交(jiao)通、公(gong)寓(yu)出租(zu)等。

在NvBench数据集的基礎(chu)上，研究人员利用框架为每(mei)个实例(li)编寫(xie)了5个要点，并使用全新的指标来评估质量。

评估

在这里，研究人员设计了几个人工评估指标来评估生成的数据，并分別(bie)对每个測(ce)試(shi)实例进行分析。

图表评估：

· 信息正确性：图中顯(xian)示的数据和信息是否正确？（0-1）

· 图标类型正确性：图表类型是否符(fu)合(he)问题中的要求(qiu)？（0-1）

· 美觀(guan)性：图表是否美观、清晰(xi)，没有任(ren)何(he)格(ge)式錯(cuo)誤(wu)？（0-3）

分析评估：

· 正确性：分析中是否包含错误的数据或(huo)信息？（0-1）

· 对齊(qi)性：分析是否与问题一致？（0-1）

· 復(fu)雜(za)性：分析的复杂程度和深(shen)度如何？（0-3）

· 流暢(chang)性：生成的分析是否流畅，在语法上是否合理，没有不必要的重(zhong)复？（0-3）

为了进行人工评估，阿里&NTU研究人员从一家(jia)数据标注公司(si)雇佣了6名(ming)专业的数据标注员，按照上述詳(xiang)細(xi)的评估指标对每个图形和分析要点进行标注。

結(jie)果(guo)

GPT-4的表现

表3显示了，GPT-4作为数据分析师在200个样本上的表现，以及每个单獨(du)的评估組(zu)的结果，和兩(liang)个组之间的平(ping)均(jun)分数。

对于图表类型正确性评估，两个评估小(xiao)组几乎(hu)都給(gei)出了滿(man)分。

这表明，对于 「畫(hua)条形图」、「显示饼形图」等这样简单明了的指令(ling)，GPT-4可以很容易(yi)地理解其含義(yi)，并对图表类型的含义有背景知识，从而可以相應(ying)地以正确的类型绘制图表。

在美学评分方面，它平均得到2.73分（满分3分），这表明大多数生成的数字(zi)对评估者来說(shuo)是清晰的，没有任何格式错误。

然而，对于绘制图表的信息正确性，得分并不那(na)么令人满意。

研究人员手(shou)动检查了这些(xie)图表，發(fa)现盡(jin)管(guan)有一些小错误，但大多数都能大致得到正确的数字。

在此，评估标準(zhun)非(fei)常嚴(yan)格，只要有任何数据，或任何标簽(qian)的X軸(zhou)或Y轴是错误的，就要扣(kou)分。尽管如此，它仍有进一步改(gai)进的空(kong)间。

在分析评估方面，对齐性和流畅性平均得到了满分。这再(zai)次验证了生成流畅和语法正确的句(ju)子(zi)对GPT-4来说絕(jue)对不是一个问题。

另(ling)外，研究人员还注意到，分析的平均正确性得分要比(bi)数据的信息正确性高得多。

这很有趣(qu)，因为尽管生成的数据是错误的，但分析结果可能是正确的。这再次验证了研究人员之前对数字的信息正确性得分的解釋(shi)。

如前所述，由于生成的数字大多与黃(huang)金(jin)数字一致，因此一些要点可以正确生成。只有少数与数字中的错误部分有关的要点被认为是错误的。就复杂性得分而言(yan)，平均2.16分（满分3分）是合理且(qie)令人满意的。

人类数据分析师与GPT-4的比較(jiao)

为了进一步回(hui)答(da)我们的研究问题，研究人员聘(pin)請(qing)专业的数据分析师来做这些任务，并与GPT-4进行全面的比较。

表4显示了几个来自不同背景的专家级别数据分析师与GPT-4的表现比较。

总的来说，GPT-4的性能与人类数据分析师相當(dang)，而在不同的标准指标和人类数据分析师之间，其优势也有所不同。

第一行显示了，一位在金融(rong)行业有超(chao)过6年数据分析工作經(jing)验的高级数据分析师（即(ji)高级数据分析师1）的10个样本表现。从表中可以看出，GPT-4在大多数指标上的表现与专家数据分析师相当。雖(sui)然GPT-4的正确性得分低于人类数据分析师，但复杂性得分和排(pai)列(lie)组合得分卻(que)更高。

第二(er)行显示了，GPT-4和另一个有5年工作经验的高级数据分析师（即高级数据分析师2）在8个样本上的性能比较。由于样本量相对较小，结果显示人类和AI数据分析师之间的差(cha)異(yi)较大。人类数据分析师在信息的正确性和数据美观性、见解的正确性和复杂性方面超过了GPT-4，表明GPT-4仍有改进的潛(qian)力。

第三行是比较GPT-4和一个在咨(zi)询公司有2年内数据分析工作经验的初级数据分析师之间的另一个随机9样本的表现。GPT-4不仅在数字和分析的正确性上表现得更好，而且还傾(qing)向(xiang)于产生比人类数据分析师更复杂的分析。

除(chu)了所有数据分析师和GPT-4之间的性能相当外，我们可以注意到GPT-4花(hua)費(fei)的时间比人类数据分析师短(duan)得多。

表5显示了，来自不同職(zhi)业平臺(tai)的数据分析师成本比较。

研究人员从level.fyi获得新加坡(po)数据分析师的年薪中值(zhi)，从Glassdoor获得新加坡数据分析师的平均年薪。

这里，研究人员假(jia)设每月(yue)有大约21个工作日，每天(tian)的工作时间约为8小时，再结合目前不同级别数据分析师在具(ju)体项目实例中所花费的平均时長(chang)（美元）。

对于这次研究的标注，研究人员根据市(shi)場(chang)價(jia)格相应地支(zhi)付(fu)给数据分析员。GPT4的成本约为初级数据分析师成本的0.71%，高级数据分析师成本的0.45%。

案例

在第一个案例中，GPT-4能够生成包含正确的SQL查询的python代码，以提取所需的数据，并根据给定的问题画出適(shi)当的、正确的饼图。

在分析方面，GPT-4能够通过进行适当的比较（例如，「最成功」、「不太(tai)成功」、「不同范围」）来理解数据。

此外，GPT-4还能从数据中提供一些见解，如：「表明他们在競(jing)爭(zheng)中的主导地位」。

GPT-4的上述这些能力，包括上下文理解、代码生成和数据故事，也在其他許(xu)多案例中得到了证明。

此外，在这个案例中，GPT-4还可以从数据和其背景知识中做出一些合理的猜(cai)测，例如：「可能是由于其设计、性能或其他因素(su)」。

第二个案例显示了GPT-4處(chu)理的另一个问题「在散点图中显示身高和体重之间的相关性」。

同样，GPT-4能够提取正确的数据，画出正确的散点图并生成合理的分析。

虽然大部分的要点都原模原样地生成了，但如果仔(zai)细閱(yue)读和检查，就会发现平均身高和体重的数字是错误的。

除了眾(zhong)所周(zhou)知的「幻(huan)覺(jiao)」问题外，研究人员懷(huai)疑(yi)GPT-4的计算能力不强，特(te)别是对于那些复杂的计算。

甚(shen)至，他们还在在其他几个案例中也注意到这个问题。尽管GPT-4以非常自信的语氣(qi)生成了分析要点，但计算结果有时并不准确。

第三是高级分析师2所做的一个例子。

可以注意到，这位专家级的人类数据分析师也能理解需求，编写代码来绘制正确的柱(zhu)状图，并对提取的数据进行分析要点。

除此以外，研究人员总结出人类数据分析师与GPT-4的3个主要区别：

首先(xian)，与GPT-4不同的是，人类数据分析师可以用一些个人想法和情(qing)感(gan)来表达分析。例如，数据分析师会提到「这有点令人惊訝(ya)......」。在现实生活(huo)中，个人情感有时是很重要的。通过这些情緒(xu)化的短语，人们可以很容易地理解数据是否符合預(yu)期(qi)或不正常。

第二，人类的数据分析师倾向于应用一些背景知识。虽然GPT-4通常只关注提取的数据本身，但人类很容易与自己(ji)的背景知识聯(lian)系起(qi)来。例如，如表8所示，数据分析师提到「......是常见的......」，这在数据分析师的实际工作中是比较自然的。因此，为了更好地模仿(fang)人类数据分析师，在演(yan)示中，研究人员增加了一个选项，即在生成数据分析时使用谷歌搜(sou)索API来提取实时在线信息。

第三，当提供洞察力或建(jian)议时，人类数据分析师往(wang)往是保守(shou)的。例如，在第5点中，人类数据分析师在给出建议前提到「如果没有数据问题」。与人类不同，GPT-4会以自信的语气直接(jie)提供建议，而不提及其假设。

討(tao)论

从初步的结果来看，GPT-4的表现可以与数据分析师相媲(pi)美。

不过，在得出结论之前，仍有几个问题需要解決(jue)。

首先，正如案例研究部分所提到的，GPT-4仍然有幻觉问题。数据分析工作不仅需要那些技术能力和分析能力，而且还需要保证高精(jing)确度。

其次，GPT-4不应該(gai)直接给出任何建议或从数据中做出任何猜测，而是应该謹(jin)慎(shen)对待(dai)所有的假设，并给出更加严谨的说法。

此外，尽管实验中的问题已(yi)经涵(han)蓋(gai)了很多的领域、数据库、难度级别和图表类型，但根据人类数据分析师的反(fan)饋(kui)，它们仍然有些过于具体。比如，通常会包含这样的信息：两个變(bian)量之间的特定相关性，特定的图表类型。

由于预算的限(xian)制，人工评估和数据分析师标注的数据相对较少。畢(bi)竟(jing)数据分析师（尤(you)其是資(zi)深的）非常昂(ang)貴(gui)，團(tuan)隊(dui)只聘请他们做了少量的样本。

网友评论

对此，有网友表示，GPT替代初级分析师确实是低成本高效(xiao)率(lv)的，但替代高级分析师还难说，未(wei)来的高级分析师要更多注重行业洞察力和预见能力，这是维持(chi)其高工资的基础，也是GPT难全面替代的。

资深数据分析师Galen Okazaki表示，数据分析是一个价值龐(pang)大的产业，并且仍然在持續(xu)增长。

从2012年开始，他在GE资本做了7年的资本市场数据分析，职务是高级副(fu)总裁(cai)。2020年到现在，Okazaki一直在VDS公司做数据戰(zhan)略(lve)，职务是高级顧(gu)问。

他认为，数据分析师并不是誰(shui)都能做，需要专业的领域知识。而缺(que)乏(fa)专业知识的人，就算有GPT-4也没用。

無(wu)论是哪(na)个领域的数据分析，无论我们用什么工具，结果都是如此——没有专业知识，我们就不知道面对一大堆(dui)数据该提出什么样的问题，就算有了一些发现，也不知道如何解释。

这也就是数据分析工作的最大价值所在，能够调用专业知识回答可能遇(yu)到的任何问题，无论有多复杂，有多少層(ceng)次，是不是线性的，等等。而这些问题恰(qia)恰是生成式AI不能回答的。

所以，Okazaki的结论是，GPT-4的能力越(yue)来越强，给数据分析师的輔(fu)助作用也会越来越大。可是取代？不太可能。

參(can)考资料：

https://arxiv.org/abs/2305.15038

https://towardsdatascience.com/will-generative-ai-replace-the-need-for-data-analysts-6b6807599d00返(fan)回搜狐(hu)，查看更多

責(ze)任编辑：