烘焙必备！优质面粉加工销售广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>賽(sai)道(dao)Hyper | 爆(bao)點(dian)來(lai)了(le)：用(yong)LLM成(cheng)功(gong)設(she)計(ji)芯(xin)片(pian)

用ChatGPT聊(liao)個(ge)天(tian)或(huo)通(tong)過(guo)Midjouney畫(hua)張(zhang)圖(tu)，其(qi)高(gao)度(du)的(de)智(zhi)能(neng)性(xing)，讓(rang)全(quan)球(qiu)大(da)叫(jiao)“哇(wa)塞(sai)”。但(dan)是(shi)，GPT的基(ji)礎(chu)设施(shi)LLM，更(geng)性感(gan)的能力(li)，竟(jing)已(yi)能在(zai)高精(jing)尖(jian)領(ling)域(yu)——芯片设计，達(da)成新(xin)成果(guo)。

這(zhe)是堪(kan)稱(cheng)逆(ni)天的AGI能力。

最(zui)近(jin)，紐(niu)約(yue)大學(xue)Tandon工(gong)程(cheng)学院(yuan)的研(yan)究(jiu)人(ren)員(yuan)，通过GPT-4设计並(bing)流(liu)片了壹(yi)顆(ke)芯片。

通过據(ju)称是比(bi)較(jiao)簡(jian)單(dan)的英(ying)語(yu)對(dui)話(hua)，CPT-4生(sheng)成了可(ke)行(xing)的Verilog（硬(ying)件(jian)描(miao)述(shu)语言(yan)）。接(jie)著(zhe)，这些(xie)技(ji)術(shu)人员就(jiu)將(jiang)基準(zhun)測(ce)試(shi)和(he)處(chu)理(li)器(qi)發(fa)送(song)到(dao)Skywater 130 nm穿(chuan)梭(suo)機(ji)上(shang)，實(shi)現(xian)了成功流片（Tapeout）。

在芯片设计和制(zhi)造(zao)领域，130nm工藝(yi)制程，連(lian)一小(xiao)步(bu)進(jin)展(zhan)都(dou)算(suan)不(bu)上，但这卻(que)是AI技术史(shi)上貨(huo)真(zhen)價(jia)实的一大步。

用LLM设计芯片？

從(cong)GPT的英文(wen)全称“Generative Pre-trained Transformer”可以(yi)看(kan)到，这是个生成式(shi)預(yu)訓(xun)練(lian)模(mo)型(xing)。

OpenAI首(shou)席(xi)科(ke)学家(jia)、ChatGPT背(bei)後(hou)的技术大佬(lao)伊(yi)利(li)亞(ya)·蘇(su)茨(ci)克(ke)維(wei)（Ilya Sutskever）說(shuo)，GPT（生成式预训练模型）学習(xi)的是“世(shi)界(jie)模型”。Sutskever将互(hu)聯(lian)網(wang)文本(ben)称作(zuo)物(wu)理世界的映(ying)射(she)。因(yin)此(ci)，将海(hai)量(liang)互联网文本作為(wei)学习语料(liao)的GPT学习到的就是整(zheng)个物理世界。

很(hen)清(qing)楚(chu)，生成式的能力，建(jian)立(li)在学习语料的预训练模型基础上。

那(na)什(shen)麽(me)是预训练模型？

2017年(nian)，Google大腦(nao)團(tuan)隊(dui)在神(shen)經(jing)信(xin)息(xi)处理系(xi)統(tong)大會(hui)发表(biao)了一篇(pian)名(ming)为《註(zhu)意(yi)力是妳(ni)所(suo)需(xu)要(yao)的全部(bu)》（Attention Is All You Need）的論(lun)文。

这篇论文的作者(zhe)在文章(zhang)中(zhong)第(di)一次(ci)提(ti)出(chu)了一个基於(yu)注意力机制的Transformer模型，并且(qie)把(ba)这个模型首次用在理解(jie)人類(lei)的语言上，这就是自(zi)然(ran)语言处理（NLP：Natural Language Processing）。

Google大脑团队利用非(fei)常(chang)多(duo)已公(gong)開(kai)的语言數(shu)据集(ji)来训练这个最初(chu)的Transformer模型，而(er)这个Transformer模型包(bao)括(kuo)6500萬(wan)个可調(tiao)參(can)数。

经过大量训练后，这个Transformer模型在英语成分(fen)句(ju)法(fa)分析(xi)、翻(fan)譯(yi)准確(que)度等(deng)多項(xiang)評(ping)分上都在業(ye)內(nei)达到第一的水(shui)准，世界领先(xian)，成为當(dang)時(shi)最为先进的大型语言模型（LLM：Large Language Model）。

2018年，OpenAI公司(si)在研究Transformer模型时有(you)了自己(ji)的技术突(tu)破(po)。OpenAI发表了论文《用生成式预训练提高模型的语言理解力》（Improving Language Understanding by Generative Pre training），推(tui)出具(ju)備(bei)1.17億(yi)个参数的GPT-1模型。

GPT-1模型是一个基于Transformer結(jie)構(gou)的模型，但训练它(ta)的数据集更为龐(pang)大：包括7000多本未(wei)出版(ban)的图書(shu)，并涵(han)蓋(gai)多種(zhong)类型，如(ru)言情(qing)、冒(mao)險(xian)、恐(kong)怖(bu)、奇(qi)幻(huan)等。在对模型做(zuo)大量预训练后，OpenAI還(hai)在四(si)种不同(tong)的语言場(chang)景(jing)下(xia)，利用多种相(xiang)異(yi)的特(te)定(ding)数据集对模型做进一步训练。

最終(zhong)OpenAI训练出的模型GPT-1，在文本分类、問(wen)答(da)、文本相似(si)性评估(gu)、蘊(yun)含(han)语義(yi)判(pan)定这四个评价维度上，都取(qu)得(de)了比基础Transformer模型更好(hao)的结果，因此也(ye)取代(dai)Transformer模型，成为新的LLM龍(long)頭(tou)。

OpenAI在2022年神经信息处理系统大会中，推出新的大型语言预训练模型：ChatGPT。GPT-3.5是ChatGPT的前(qian)身(shen)，也是OpenAI对GPT-3模型做微(wei)调后开发出来的模型。在GPT-3.5誕(dan)生后，ChatGPT问世。

不難(nan)看出，ChatGPT的“地(di)基”是基于Transformer结构的模型。換(huan)句话说，LLM用Transformer體(ti)系结构，构建了ChatGPT。

明(ming)白(bai)了这个邏(luo)輯(ji)關(guan)系，再(zai)来看看用GPT-4设计并成功流片的130nm芯片的AI“生成”情況(kuang)。

通过LLM的加(jia)持(chi)，芯片设计行业的关鍵(jian)技术節(jie)点“HDL”被(bei)成功攻(gong)克。芯片设计和开发的門(men)檻(kan)大幅(fu)降(jiang)低(di)，速(su)度也因此得以加快(kuai)。即(ji)使(shi)不懂(dong)專(zhuan)业技术，也可以通过GPT-4设计芯片。

什么是HDL？

HDL，即Hardware Deion Language，自動(dong)化(hua)硬件描述语言，也就是面(mian)向(xiang)接口(kou)編(bian)程：对硬件電(dian)路(lu)做行为描述、寄(ji)存(cun)器傳(chuan)輸(shu)描述或者结构化描述的一种设计语言，包括主(zhu)流的VHDL（偏(pian)重(zhong)逻辑綜(zong)合(he)，用于大規(gui)模系统设计）和Verilog HDL（側(ce)重底(di)層(ceng)统合，IC设计應(ying)用主体）。

使用HDL能提高数字(zi)电路设计的效(xiao)率(lv)和可靠(kao)性，同时也可降低仿(fang)真和驗(yan)證(zheng)成本。因此，HDL在数字电路设计和系统集成中得到了廣(guang)泛(fan)应用。

这怎(zen)么做到的？

纽约大学坦(tan)頓(dun)工程学院的那些研究员，通过GPT-4，完(wan)成了首个由(you)AI生成的HDL，这能被直(zhi)接用以制造物理芯片。

在这个过程中，这些人并非用专业的HDL语言，而是用了普(pu)通英语。通过GPT-4的生成式AI，普通英语也能起(qi)到像(xiang)HDL这樣(yang)的专用硬件描述语言一样的作用。

这是一座(zuo)裏(li)程碑(bei)。

纽约大学坦顿工程学院电子(zi)和计算机工程系以及(ji)纽约大学网絡(luo)安(an)全中心(xin)研究助(zhu)理教(jiao)授(shou)Dr.Hammond Pearce，是这个研究项目(mu)“Chip Chat”的领導(dao)人。

Pearce说，他(ta)特別(bie)想(xiang)了解基于生成式AI的AGI（通用人工智能：Artificial General Intelligence）语义大模型（LLM）在硬件设计领域的能力和限(xian)制邊(bian)界。

“硬件描述语言（HDL）的最大挑(tiao)戰(zhan)是沒(mei)多少(shao)人知(zhi)道具体該(gai)怎么用。”Pearce说，“要成为HDL专家（通常是硬件工程師(shi)）非常难。我(wo)不是芯片设计专家，但通过GPT-4，用日(ri)常语言（而非HDL）设计了这颗芯片。”

当然，Pearce团队设计芯片，也遵(zun)循(xun)了设计流程图和评估標(biao)准。因此用GPT-4设计的芯片，也达到工业标准。因而在Skywater 130nm shuttle上得以被成功制造出来。

看上去(qu)，可以用LLM替(ti)代HDL。

一般(ban)来说，开发任(ren)何(he)类型硬件（包括芯片），首要第一步，都要用日常语言描述硬件功能，通常称为產(chan)品(pin)定义。

在这之(zhi)后，再经过具有专业技能的工程师，将这些定义翻译成硬件描述语言（HDL），由此創(chuang)建允(yun)許(xu)硬件執(zhi)行任務(wu)的实際(ji)电路元(yuan)件。后面还繼(ji)之以硬件验证语言（HVL：Hardware Verification Language），用于电子电路设计验证。

LLM不僅(jin)可以用于一般商(shang)业应用的交(jiao)互（问答），也能用于替代硬件设计的HDL環(huan)节，提高设计效率。

Pearce团队是怎么问的呢(ne)？

“让我們(men)一起做个全新的微处理器设计。我们在空(kong)間(jian)和I/O方(fang)面受(shou)到嚴(yan)重限制。因此我们必(bi)須(xu)裝(zhuang)入(ru)1000个标准单元的ASIC（专用芯片），所以我認(ren)为我们需要限制自己，采(cai)用基于累(lei)加器的8位(wei)架(jia)构，没有多字节指(zhi)令(ling)。鑒(jian)于此，你认为我们应该如何开始(shi)？”

这种问答来回(hui)125次后，一颗130nm工艺制程的芯片就通过LLM制造出来了。

盡(jin)管(guan)验证成果驚(jing)人，但这不意味(wei)着普通人也能通过LLM设计出符(fu)合工业标准的芯片。比如在125次来回问答中，没有芯片专业知識(shi)的普通人，很难问出能出成果的好问題(ti)。雖(sui)说能提出问题，就是解決(jue)了一半(ban)的问题。但这种问题，絕(jue)非隨(sui)意胡(hu)亂(luan)提问的结果。

Pearce团队曾(zeng)经测试过LLM将英语轉(zhuan)换为Verilog的效果，但结果顯(xian)示(shi)，专业工程师加入GPT-4的交互过程后，LLM才(cai)产生了最好的Verilog。

Pearce也说，“通过GPT-4，HDL专家能专注于更重要的任务，而基础工作，可以交給(gei)LLM。”

实际上，这件事(shi)的意义是Pearce团队首次探(tan)索(suo)并验证了在硬件领域使用LLM的效果。但是，目前仍(reng)不清楚这个研究团队是否(fou)应用了“基于人类反(fan)饋(kui)的強(qiang)化学习（RLHF）”训练方法。这种方式能通过将其與(yu)特定意图的标記(ji)数据结合，可生成更能遵循用戶(hu)意图的指令调優(you)模型。

此外(wai)，这项应用能否被大规模用于商业芯片设计，还没有定论。比如，这项工作的目标是以对话交互方式设计硬件，Pearce团队没有自动化这个过程的任何部分，每(mei)个对话都需要手(shou)动完成。如果無(wu)法实现大规模自动化，那么商业化就存在困(kun)难。

因此，虽然这项实验取得了惊人的成果，或许称得上是一座AGI技术验证的豐(feng)碑，但距(ju)離(li)真正(zheng)发揮(hui)商业价值(zhi)，也许还有一段(duan)不短(duan)的路程要走(zou)。返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：