餐厅创意广告语句

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>國(guo)內(nei)外(wai)頂(ding)尖(jian)高(gao)校(xiao)聯(lian)合(he)發(fa)布(bu)首(shou)個(ge)「新(xin)冠(guan)NLP數(shu)據(ju)集(ji)」METS-CoV｜NeurIPS 2022

新智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：Paper Weekly

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】對(dui)新冠的(de)研(yan)究(jiu)仍(reng)在(zai)繼(ji)續(xu)！

来自(zi)浙(zhe)江(jiang)大(da)學(xue)、北(bei)京(jing)大学、哈(ha)佛(fo)醫(yi)学院(yuan)、劍(jian)橋(qiao)大学及(ji)西(xi)湖(hu)大学的交(jiao)叉(cha)研究團(tuan)隊(dui)在NeurIPS 2022 Datasets and Benchmarks 发布数据集METS-CoV，是(shi)首个從(cong)医学角(jiao)度(du)標(biao)註(zhu)新冠社(she)交媒(mei)體(ti)文(wen)本(ben)的命(ming)名(ming)實(shi)体（NER）和(he)目(mu)标实体情(qing)感(gan)分(fen)析(xi)（TSA）的数据，可(ke)幫(bang)助(zhu)研究人(ren)員(yuan)使(shi)用(yong)自然(ran)語(yu)言(yan)處(chu)理(li)模(mo)型(xing)从社交媒体文本中(zhong)挖(wa)掘(jue)更(geng)有(you)價(jia)值(zhi)的医学信(xin)息(xi)。

发表(biao)會(hui)議(yi)：NeurIPS 2022

論(lun)文地(di)址(zhi)：https://arxiv.org/abs/2209.13773

GitHub地址：https://github.com/YLab-Open/METS-CoV

实驗(yan)室(shi)主(zhu)頁(ye)：https://ylab.top

引(yin)言

近(jin)年(nian)来，新冠肺(fei)炎(yan)（COVID-19）的爆(bao)发对人們(men)的生(sheng)活(huo)產(chan)生了(le)嚴(yan)重(zhong)影(ying)響(xiang)，給(gei)公(gong)共(gong)衛(wei)生安(an)全(quan)帶(dai)来了巨(ju)大挑(tiao)戰(zhan)。為(wei)了評(ping)估(gu)疫(yi)情对公眾(zhong)的影响，流(liu)行(xing)病(bing)学專(zhuan)家(jia)及医学研究人员壹(yi)般(ban)通(tong)過(guo)臨(lin)床(chuang)隨(sui)訪(fang)、問(wen)卷(juan)調(tiao)查(zha)和應(ying)用程(cheng)序(xu)跟(gen)蹤(zong)等(deng)方(fang)式(shi)開(kai)展(zhan)研究，但(dan)仍存(cun)在樣(yang)本規(gui)模小(xiao)和即(ji)時(shi)性(xing)差(cha)等问題(ti)。

而(er)社交媒体由(you)於(yu)用戶(hu)群(qun)龐(pang)大、用户參(can)與(yu)度高且(qie)信息傳(chuan)播(bo)速(su)度快(kuai)，已(yi)成(cheng)为公众发表其(qi)对新冠相(xiang)關(guan)話(hua)题的评论和感受(shou)的重要(yao)渠(qu)道，使得(de)开展大规模、低(di)成本的新冠疫情追(zhui)踪研究成为可能(neng)。

進(jin)一步(bu)地，通过社交媒体平(ping)臺(tai)（如(ru)Twitter）跟踪和分析人们的觀(guan)點(dian)，可以(yi)推(tui)動(dong)医学研究的发展及公共卫生管(guan)理政(zheng)策(ce)的指(zhi)定(ding)，因(yin)此(ci)具(ju)有極(ji)大的研究价值。

然而，現(xian)有自然语言处理（NLP）工(gong)具一般面(mian)向(xiang)通用領(ling)域(yu)开发，对文本的質(zhi)量(liang)有著(zhu)(zhe)較(jiao)为严格(ge)的要求(qiu)，而社交媒体文本不(bu)同(tong)于正(zheng)式文本，一般並(bing)不遵(zun)循(xun)严格的排(pai)版(ban)和语言规則(ze)，语言風(feng)格更加(jia)随意(yi)，這(zhe)加大了现有NLP工具的分析難(nan)度，导致(zhi)其準(zhun)確(que)性下(xia)降(jiang)。

此外，现有的NLP工具并非(fei)专門(men)为医学或(huo)公共卫生研究而設(she)計(ji)，因此难以滿(man)足(zu)流行病学专家对于新冠相关主题分析的需(xu)求。

換(huan)言之(zhi)，目前(qian)NLP工具之所(suo)以在新冠相关社交媒体文本上(shang)表现不佳(jia)，其根(gen)本原(yuan)因在于缺(que)乏(fa)从医学角度设计和标注的新冠相关社交媒体文本数据集。

另(ling)一方面，对于在社交媒体文本上开展的新冠相关研究，最(zui)重要的分析目标之一是找(zhao)到(dao)用户討(tao)论的实体（包(bao)括(kuo)通用实体類(lei)型和医学实体类型）及对它(ta)们的观点或態(tai)度。

NER旨(zhi)在从非結(jie)構(gou)化(hua)文本中提(ti)取(qu)实体信息，而TSA旨在預(yu)測(ce)用户对目标实体的情感极性。盡(jin)管目前已有不少(shao)面向通用领域或者(zhe)特(te)定领域如新聞(wen)、電(dian)商(shang)的NER和TSA数据集，但面向医療(liao)领域社交媒体文本的数据集仍然空(kong)缺，这也(ye)加大了在社交媒体文本上进行細(xi)粒(li)度分析并开展新冠相关研究的难度。

在本文中，来自浙江大学、北京大学、哈佛医学院、剑桥大学及西湖大学的交叉研究团队在NeurIPS 2022 Datasets and Benchmarks 发布数据集METS-CoV，是首个从医学角度标注新冠社交媒体文本的命名实体（NER）和目标实体情感分析（TSA）的数据，旨在帮助研究人员使用自然语言处理模型从社交媒体文本中挖掘更有价值的医学信息。

該(gai)数据集包含(han)10,000條(tiao)推文，对4種(zhong)医学实体类型（疾(ji)病、藥(yao)物(wu)、癥(zheng)狀(zhuang)和疫苗(miao)）和3种通用实体类型（人、地点和組(zu)織(zhi)）进行了人工标注。

此外，为了研究用户对特定实体的态度，标注人员還(hai)对人、组织、药物和疫苗四(si)种实体的情感极性进行了标注。

与其他(ta)NER和TSA数据集不同，METS-CoV是从公共卫生研究的角度构建(jian)的，有助于自然语言处理工具在医疗领域的定制(zhi)化开发，从而促(cu)进计算(suan)社会科(ke)学（特別(bie)是流行病学）研究的开展。

例(li)如，使用基(ji)于METS-CoV数据集訓(xun)練(lian)的NER和TSA模型，研究人员可以追踪公众对新冠疫苗接(jie)种的态度，以制定更有效(xiao)的疫苗政策；可以追踪公众在新冠传播的不同階(jie)段(duan)的心(xin)理状況(kuang)，提供(gong)解(jie)決(jue)全球(qiu)心理健(jian)康(kang)危(wei)機(ji)的潛(qian)在解决方案(an)等。

为了保(bao)證(zheng)数据集的质量，研究者设计了詳(xiang)细的标注指南(nan)，使用的标注人员均(jun)具有医学相关教(jiao)育(yu)背(bei)景(jing)。

进一步地，基于METS-CoV数据集，研究者对NER和TSA任(ren)務(wu)上所采(cai)用的經(jing)典(dian)机器(qi)学習(xi)模型和最先(xian)进的深(shen)度学习模型进行了性能基准测試(shi)。测试结果(guo)表明(ming)，现有模型在METS-CoV数据集上还有较大的提升(sheng)空間(jian)。

数据集描(miao)述(shu)

数据收(shou)集与标注

研究者收集了从2020年2月(yue)1日(ri)到2021年9月30日期(qi)间用户发表的新冠推文，所有推文均通过Twitter的官(guan)方API獲(huo)取，严格遵守(shou)平台的数据安全政策。

在进行数据预处理时，研究者首先刪(shan)除(chu)了非英(ying)语推文、轉(zhuan)推以及包含URL的推文（它们通常(chang)是第(di)三(san)方消(xiao)息的重述，不能直(zhi)接反(fan)映(ying)用户的意圖(tu)和态度），然後(hou)，使用症状关鍵(jian)詞(ci)列(lie)表来篩(shai)選(xuan)与医学相关的推文。预处理完(wan)成后，还剩(sheng)下2,208,676条推文。

METS-CoV的标注过程可以劃(hua)分为兩(liang)个阶段：命名实体标注和目标实体情感标注。相应的，METS-CoV数据集可以按(an)照(zhao)任务类型划分为两个数据子(zi)集，即METS-CoV-NER数据集和METS-CoV-TSA数据集。

所有标注工作(zuo)均通过YEDDA标注平台（https://github.com/jiesutd/YEDDA）完成，所有的标注者都(dou)具有医学教育背景，如医学、公共卫生和制药科学等。

在进行命名实体标注时，研究者首先根据公共卫生研究的需求，定義(yi)了 7 种实体类型，包括 3 种通用实体类型和 4 种医学实体类型，接着，从预处理的推文中随机采样了 6,000 条推文进行命名实体标注。

最終(zhong)，构建好(hao)的METS-CoV-NER数据集中一共包含了 10,000 条推文。

进一步地，研究者选擇(ze)了人、组织、药物和疫苗四种实体作为目标实体并从METS-CoV-NER数据集中筛选出(chu)包含目标实体的推文，标注人员根据目标实体所在的上下文标注其情感极性。

情感极性标簽(qian)一共有3种：積(ji)极、消极和中性。最终，METS-CoV-TSA数据集中一共包含5,278条推文。

数据集統(tong)计信息

大多(duo)数推文的長(chang)度都小于80个token。其中，长度为50左(zuo)右(you)的推文占(zhan)比(bi)最高。

METS-CoV中推文长度的分布情况

推文總(zong)数为10,000条， 一共标注了19,057个实体，平均每(mei)个推文中包含了1.91个实体。在所有实体中，症状实体的出现頻(pin)率(lv)最高，这是由于在预处理阶段使用了症状关键词列表进行数据预过濾(lv)。

除了症状实体以外，其他六(liu)种实体类型的比例均衡(heng)。

METS-CoV-NER数据集的统计信息

在METS-CoV-TSA数据集的统计信息中可以发现，中性情感占据的比例最高。对于药物实体来說(shuo)，用户的正面情感明顯(xian)高于負(fu)面情感，而对于疫苗实体，用户的正负面情感比例相近。

模型基准测试

在本文中，研究者系(xi)统评估了统计机器学习模型、神(shen)经網(wang)絡(luo)、通用领域大规模预训练语言模型（PLM）以及新冠相关的PLM四大类模型在METS-CoV-NER和METS-CoV-TSA上的性能，并进行了深入(ru)的分析和讨论。

baseline模型

包括CRF、WLSTM、CCNN、CLSTM、BERT、RoBERTa、BART、BERTweet-covid19和COVID-TWITTER-BERT。所有实验使用NCRF++（https://github.com/jiesutd/NCRFpp ）完成。模型的超(chao)参数使用Yang等人(2018a)的默(mo)認(ren)设置(zhi)。

数据处理

按照70:15:15的比例將(jiang)数据集划分为训练集、验证集和测试集，统计结果見(jian)表1。

实验结果：研究者使用micro-F1来评估所有的模型，表3展示(shi)了测试结果。从该表中可以发现，COVID-TWITTER-BERT性能表现最佳，平均micro-F1值为83.88，显著優(you)于基于CRF或BiLSTM（及其變(bian)体）的传统NER模型和通用领域PLM。

进一步地，研究者从统计机器学习、神经网络、通用领域PLM和新冠相关PLM四大类别中选择每个类别中表现最佳的模型，即CRF、WLSTM+CCNN+CRF、RoBERTa-large和COVID-TWITTER-BERT，采用Span F1和Type Accuracy（Type Acc.）两大指标来评估它们的性能。

Span F1表示NER中实体範(fan)圍(wei)的正确性，而Type Acc.指标则表示预测实体中范围和类型均预测正确的实体占所有预测实体的比例。

如表4和表5所示，COVID-TWITTER-BERT在两个指标上的平均表现最佳，其次(ci)是RoBERTa-large。

具体来说，COVID-TWITTER-BERT在人物和组织实体上的表现比RoBERTa-large更好，在Span F1方面分别提高了3.72%和2.53%。对于Type Acc指标，COVID-TWITTER-BERT在四种实体类型（人物、地点、组织和药物）上的表现最好。这些(xie)结果验证了在新冠相关推文上对语言模型进行增(zeng)量预训练的有效性。

此外，研究者还探(tan)究了推文长度对模型性能的影响：如图3所示，當(dang)推文长度较短(duan)（少于40个token）时，所有模型的表现都更好，而处理的推文越(yue)长，模型的性能越差。研究者还计算了COVID-TWITTER-BERT模型在测试集上的混(hun)淆(xiao)矩(ju)陣(zhen)。

目标实体情感分析

baseline模型

SVM、ASGCN、LSTM、TDLSTM、MemNet、IAN、MGAN、TNet-LF、BERT-base-uncased+AEN/LCF/BERT-SPC/depGCN/kumaGCN/dotGCN，COVID-TWITTER-BERT+BERT-SPC/depGCN/kumaGCN/dotGCN。模型的超参数均采用与原论文一致的设置。

数据处理

TSA训练数据集是NER训练数据集的子集，僅(jin)保留(liu)包含目标实体的推文。采用类似(si)的方式可以构建TSA的开发集和测试集。

实验结果：研究者使用正确率（Acc.）和F1值来评估所有的基線(xian)模型，实验结果如表6所示：将COVID-TWITTER-BERT作为特征(zheng)提取器的模型明显优于其他类型的模型。

具体来说，与基于BERT的depGCN相比，基于COVID-TWITTER-BERT的depGCN模型在人物实体上表现最佳，其Acc.和F1值分别提高了8.46％和10.35％。

对于组织实体，基于COVID-TWITTER-BERT的depGCN模型性能最优，准确率和F1值相较于其他模型至(zhi)少提高了5.4％和8.32％。

对于药物实体，基于COVID-TWITTER-BERT的depGCN模型显著优于其他模型，与基于BERT的depGCN相比，其准确率和F1值分别提高了13.31％和18.03％。

对于疫苗实体，基于COVID-TWITTER-BERT的BERT-SPC模型表现最佳，与其他模型相比其准确率和F1值分别提高了1.6％和11.4％。

研究者从各(ge)类模型中筛选出最佳模型，即SVM，MemNet，depGCN（BERT-base）和depGCN（COVID-TWITTER-BERT）并探索(suo)了推文长度对这四种模型的影响。

如图5所示，推文长度对不同TSA模型的影响存在明显差異(yi)。对于SVM和TNET，F1值随着推文长度的增加而逐(zhu)漸(jian)下降。对于dotGCN，当推文长度在20到40之间时，F1值会有一定程度的波(bo)动，之后，F1值会随着推文长度的增加而提高。对于depGCN（COVID-TWITTER-BERT），当推文长度小于50时，F1值保持(chi)穩(wen)定，然后增加到0.8，最后降至約(yue)0.6。

最后研究者对平均性能表现最佳的模型，即depGCN（COVID-TWITTER-BERT），进行了深入分析，计算其在测试集上的混淆矩阵（图6）。

结果显示，对于所有的目标实体，大部(bu)分的混淆是由于积极（消极）和中性之间的誤(wu)分类引起(qi)的。

结论

充(chong)分考(kao)慮(lv)了医学领域的特点，因此可以帮助研究人员使用自然语言处理模型从推文中挖掘有价值的医学信息。

此外，研究者以该数据集为基礎(chu)，对目前最先进的NER模型和TSA模型进行了全面的性能评估。

实验结果表明，METS-CoV是一个具有挑战性的数据集，现有模型尚(shang)未(wei)在该数据集上取得令(ling)人满意的性能表现。

除了数据集之外，研究者还开源了标注指南、基准模型和源代(dai)碼(ma)，希(xi)望(wang)借(jie)此鼓(gu)勵(li)更多的研究人员参与到医学相关数据集和模型的构建工作中来，为推动医学社交媒体研究的发展貢(gong)獻(xian)力(li)量。

参考資(zi)料(liao)：

https://arxiv.org/abs/2209.13773返(fan)回(hui)搜(sou)狐(hu)，查看(kan)更多

責(ze)任编辑：