快来看!为什么便利店广告难以引起关注?

为什么便利店广告难以引起关注?

便利店广告在我们的生活中无处不在,但难以引起关注的原因有很多。在本文中,我们将从四个方面来分析为什么便利店广告难以引起消费者的注意。

1. 广告内容的单一且缺乏创意

大多数便利店广告都是关于品牌、价格、促销活动或新产品的信息传递。这些广告的内容往往是重复的,毫无新意。如果广告内容过于单一,那么消费者就会感到枯燥和无聊,缺乏吸引力。此外,新产品的推广宣传相对于品牌广告来说效果更好,但是新产品的广告已经被使用了很多年,消费者们已经麻木了。

综上所述,缺乏创意的广告往往难以吸引消费者的注意,使得广告难以产生预期的效果。

2. 广告形式的单一化

尽管现代广告行业充满了创造力,但大多数便利店广告形式仍然缺乏变化。这种单一化不仅限于广告内容,而且表现在广告形式上。大多数便利店广告仍然是海报、传单和广告牌。这种广告形式的单一化,使得消费者很难从广告中感受到新鲜感。

此外,与电视广告和杂志广告相比,便利店广告媒介的广告方案相对较少。缺乏新媒体广告的发布会使得便利店广告的宣传受到限制。因此,广告形式的单一化难以吸引消费者的注意,使得广告难以产生预期的效果。

3. 广告传播渠道的不足

广告传播渠道的不足也是导致便利店广告难以引起关注的一个重要原因。

便利店广告大多数是通过海报、广告牌和传单等传统方式传播的。虽然这些广告传播渠道非常重要,但现代社会已经形成了多样化、全面覆盖的媒体环境。通过互联网、电视、广播和移动设备等新媒体平台,能够更加全面、灵活地传播广告信息。如果便利店广告能够更广泛地传播,那么广告的效果势必会更好。

4. 广告的创意不足

广告的创意不足也是导致便利店广告难以引起关注的原因之一。

与其他广告相比,便利店广告的创意往往比较缺乏。当广告所呈现的内容与其他广告差不多时,消费者往往会觉得这是形式上的内容冗余。如果广告能够创造出一些特别的东西,比如有趣的口号或独特的设计,那么消费者就更容易被吸引。

总结

本文从广告内容、广告形式、广告传播渠道和广告创意四个方面来分析了便利店广告难以引起消费者注意的问题。这些问题中的每一个都阻止了广告效果的发挥,使得广告无法达到预期的效果。因此,这些问题需要得到重视并解决,以便便利店广告能够更好地得到展示。

问答话题:

1. 便利店广告为什么往往缺乏创意?

便利店广告缺乏创意的原因之一是由于缺乏人力和财力。对于便利店来说,广告制作的预算一般都非常有限。因此,这些店铺往往无法聘请一流的创意人才,来打造出令人难以忘记的广告。此外,由于便利店广告高强度的制作周期,创意设计的多样性就受到限制,因而也会影响到广告的创意度。

2. 便利店广告如何才能达到预期效果?

为了让便利店广告达到预期的效果,我们需要通过以下几个方面来改善:

1. 提高广告创意度。

2. 丰富广告形式,使广告更加多样化。

3. 扩大广告传播渠道,让广告能够更广泛地传播。

4. 确定广告的目标受众并进行精准定位。

如果广告能够在这些方面得到改善,那么广告就能够更好地达到预期效果,从而帮助便利店赢得更多的客户和市场份额。

快来看!为什么便利店广告难以引起关注?特色

1、玩法简单,操作易上手,流畅的操作体验!

2、影视级百科动画,全方位科学启蒙

3、●做各种疯狂的事情,探索不同的地方,游乐玩耍互动等等;

4、公开黑棋,快速组队,几秒钟内与队友对决,告别个人战场

5、0天包退年保修,优信认证的平台质保为您保驾护航!

快来看!为什么便利店广告难以引起关注?亮点

1、搜索功能完善

2、激情厮杀的消除玩法,体验各种技能带来的全屏爆棚

3、女神降临,强势助阵,为你带来超高的增益加持,瞬间扭转战局,击败敌人

4、界面清新,支持皮肤更换。

5、PS模拟器下载截图

wanfajiandan,caozuoyishangshou,liuchangdecaozuotiyan!yingshijibaikedonghua,quanfangweikexueqimeng●zuogezhongfengkuangdeshiqing,tansuobutongdedifang,youlewanshuahudongdengdeng;gongkaiheiqi,kuaisuzudui,jimiaozhongneiyuduiyouduijue,gaobiegerenzhanchang0tianbaotuinianbaoxiu,youxinrenzhengdepingtaizhibaoweininbaojiahuhang!清(qing)華(hua)、上(shang)交(jiao)等(deng)聯(lian)合(he)發(fa)表(biao)Nature子(zi)刊(kan):「分(fen)片(pian)線(xian)性(xing)神(shen)經(jing)網(wang)絡(luo)」最(zui)新(xin)綜(zong)述(shu)!

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji):LRS 好(hao)困(kun)

【新智元導(dao)讀(du)】壹(yi)篇(pian)論(lun)文(wen)帶(dai)妳(ni)读完(wan)「連(lian)續(xu)分片线性函(han)數(shu)」的(de)发展(zhan)。

连续分片线性函数是(shi)一類(lei)具(ju)備(bei) 局(ju)部(bu)线性特(te)性和(he) 全(quan)局非(fei)线性特性的 连续函数。具有(you)特定(ding)表示(shi)模(mo)型(xing)的连续分片线性函数能(neng)夠(gou)對(dui)緊(jin)集(ji)上的任(ren)意(yi)连续函数進(jin)行(xing)全局逼(bi)近(jin)。

其(qi)本(ben)質(zhi)是利(li)用(yong)有限(xian)数量(liang)的线性函数对復(fu)雜(za)的 非线性系(xi)統(tong)进行精(jing)確(que)建(jian)模,即(ji)在(zai)保(bao)持(chi)局部线性特性的同(tong)時(shi),使(shi)整(zheng)體(ti)建模表現(xian)出(chu)非线性特性。

分片线性神经网络(PieceWise Linear Neural Networks,PWLNN)是利用连续分片线性函数对非线性系统建模的主(zhu)要(yao)方(fang)法(fa)之(zhi)一。

當(dang)合理(li)配(pei)置(zhi)神经网络网络結(jie)構(gou)及(ji)神经元中(zhong)的 激(ji)活(huo)函数(如(ru)ReLU等分片线性映(ying)射(she)函数),可(ke)以(yi)得(de)到(dao)一类PWLNN,並(bing)以此(ci)為(wei)基(ji)礎(chu),靈(ling)活利用常(chang)見(jian)的神经网络模型參(can)数優(you)化(hua)算(suan)法和各(ge)类成(cheng)熟(shu)的計(ji)算平(ping)臺(tai),實(shi)现对复杂非线性系统或(huo)数據(ju)集进行黑(hei)箱(xiang)建模。

圖(tu)1 二(er)維(wei)连续分片线性函数示例(li)[2]

最近由(you) 清华大(da)學(xue)自(zi)動(dong)化系、 比(bi)利时荷(he)語(yu)魯(lu)汶(wen)大学電(dian)子系、 上海(hai)交通(tong)大学自动化系以及 之江(jiang)实驗(yan)室(shi)的研(yan)究(jiu)人(ren)員(yuan)共(gong)同完成的一篇发表在 《自然(ran)-综述》系列(lie)期(qi)刊上的综述论文,系统地(di)介(jie)紹(shao)了(le) 分片线性神经网络表示模型(包(bao)括(kuo)淺(qian)層(ceng)及深(shen)度(du)网络)、优化算法、理论分析(xi)以及應(ying)用。

清华大学自动化系 李(li)力(li)教(jiao)授(shou)及王(wang)書(shu)寧(ning)教授指(zhi)导的博(bo)士(shi)畢(bi)業(ye)生(sheng) 陶(tao)清华(现任比利时荷语鲁汶大学博士後(hou))、 黃(huang)曉(xiao)霖(lin)(现任上海交通大学副(fu)教授)为论文的通訊(xun)作(zuo)者(zhe),其中陶清华博士为论文第(di)一作者,其他(ta)共同作者包括 王书宁教授、比利时荷语鲁汶大学 Johan A.K. Suykens教授及王书宁教授指导的博士毕业生 襲(xi)向(xiang)明(ming)(现任之江实验室助(zhu)理研究员)。

清华大学自动化系王书宁教授團(tuan)隊(dui)近二十(shi)年(nian)來(lai)在分片线性神经网络方向開(kai)展了系统的研究,取(qu)得了一些(xie)重(zhong)要成果(guo),顯(xian)著(zhu)推(tui)进了該(gai)領(ling)域(yu)的发展。

目(mu)前(qian),团队成员遍(bian)布(bu)於(yu)國(guo)內(nei)外(wai)的研究機(ji)构,繼(ji)续從(cong)事(shi)分片线性神经网络及其相(xiang)關(guan)科(ke)研工(gong)作,共同促(cu)进相关理论的发展和成果轉(zhuan)化。

Nature Reviews Methods Primers于2021年1月(yue)創(chuang)刊,致(zhi)力于加(jia)強(qiang)跨(kua)学科的協(xie)作,出版(ban)多(duo)领域前沿(yan)方法或技(ji)術(shu)的综述文章(zhang),旨(zhi)在为處(chu)于不(bu)同職(zhi)业階(jie)段(duan)或具有不同研究背(bei)景(jing)/不同知(zhi)識(shi)儲(chu)备的跨学科研究者和实踐(jian)者提(ti)供(gong)了解(jie)、評(ping)估(gu)和应用前沿方法和技术的信(xin)息(xi)交流(liu)平台。

基本背景及发展歷(li)程(cheng)

为了將(jiang)PWLNN更(geng)好地应用于数据科学,学者們(men)長(chang)期以来一直(zhi)圍(wei)繞(rao)兩(liang)個(ge)基本問(wen)題(ti)展开研究,即表示模型及其参数学習(xi)算法,其中前者旨在建立(li)具备分片线性特性和充(chong)分的逼近能力的数学模型[2-11],后者則(ze)研究適(shi)应大規(gui)模数据的表示模型参数準(zhun)确而(er)快(kuai)速(su)的学习算法[9-22],从而使PWLNN能够准确描(miao)述給(gei)定数据或待(dai)研究系统对象(xiang)的特性。

图3. 模型部分概(gai)況(kuang)[1]

1977年,著名(ming)电路(lu)系统專(zhuan)家(jia)蔡(cai)少(shao)棠(tang)(Leon O. Chua)等在电路系统分析中首(shou)次(ci)成功(gong)提出了紧湊(cou)的PWLNN表示法,即典(dian)範(fan)表示模型[3]。

1993年,著名统计和机器(qi)学习专家Leo Breiman开创了另(ling)一类基于鉸(jiao)鏈(lian)的模型表示,即链接(jie)超(chao)平面(mian)模型[4],其與(yu)当今(jin)深度神经网络中最流行的激活函数之一,即线性整流單(dan)元(Rectified Linear Units, ReLU),極(ji)为类似(si)。

隨(sui)后王书宁教授将其推廣(guang)至(zhi)具有全局表示能力的广義(yi)链接超平面模型[8]。

随著(zhe)典范表示模型和链接超平面模型的提出,PWLNN相关研究也(ye)得到快速发展,其中大部分工作围绕浅层网络结构和参数学习方法而展开。

2010年,Nair和Hinton提出的ReLU21大幅(fu)度提高(gao)了深度学习在各種(zhong)基于数据驅(qu)动的任務(wu)中的效(xiao)果,使得具有深层网络结构的PWLNN得到更加广泛(fan)的关註(zhu)。

PWLNN表示模型及其学习方法

如上图3所(suo)示,PWLNN可分为两大类,即浅层的PWLNN(如图3中下(xia)半(ban)部分左(zuo)右(you)两图所示)和深层的PWLNN(如图2中上半部分图)。

浅层的PWLNN主要分为两大类,即基函数組(zu)合模型及格(ge)模型。

其中前者通過(guo)对具有不同结构、参数和特性的基函数进行组合,如图4(a)(b)所示,实现能够滿(man)足(zu)不同場(chang)景的具有不同逼近能力、表示能力、参数及结构的辨(bian)识難(nan)易(yi)程度的PWLNN

后者则通过显式(shi)枚(mei)舉(ju)可行域的各个子區(qu)域所对应的线性表達(da),并利用min-max(或max-min)的嵌(qian)套(tao)形(xing)式,实现PWLNN的紧凑表示,如图4(c)所示。

格模型中线性子区域的显式表达特性在一些特定应用场景下尤(you)为重要,例如模型預(yu)測(ce)控(kong)制(zhi)[25,31]。

图4. (a) 二维链接超平面模型基函数示意图; (b) 二维单純(chun)形模型基函数示意图;(c) 一维格模型示例图 (含(han)5个子区域线性表达式)

对比而言(yan),由于网络深度的限制,浅层的PWLNN通常通过篩(shai)選(xuan)更为有效的神经元,而逐(zhu)漸(jian)增(zeng)加网络寬(kuan)度的方式,提升(sheng)模型灵活性,然而在反(fan)复搜(sou)索(suo)有效神经元的过程往(wang)往會(hui)犧(xi)牲(sheng)算法效率(lv),同时缺(que)少对全局信息的考(kao)慮(lv)。

与浅层PWLNN更加側(ce)重于神经元连接方式的特點(dian)不同,深层的PWLNN更加侧重于在深度神经网络中引(yin)入(ru)形式簡(jian)单的分片线性函数作为激活单元,从而是深层PWLNN整体表现为逐层嵌套的分片线性映射函数。

深层的PWLNN更偏(pian)好于增加网络深度[23],這(zhe)种方式的优勢(shi)在于能够更加高效而灵活地实现分片线性子区域的劃(hua)分,并使模型具有更好的灵活性,例如图5中的典型全连接深层PWLNN模型结构示意。

图5. 一般(ban)PWLNN模型结构示意图

通过逐层的分片线性函数映射,定义域会被(bei)划分为更多的线性子区域,如图6所示。

图6中(b)、(c)、(d)为(a)所示网络中第一层隱(yin)含层、第二隐含层、第三(san)隐含层中神经元輸(shu)出对应的定义域划分,可见随着网络深度的嵌套网络定义域被划分成更多的子区域,即神经元输出由更多不同片线性子函数构成,因(yin)此可以得到更为灵活的PWLNN。

又(you)例如图7中示例所示,随着网络层数的加深,定义域可被灵活的划分为眾(zhong)多具有线性特性的子区域,从而可以更为精确的地对数据进行擬(ni)合,实现强大的逼近能力。

图6. 二维简单PWLNN(ReLU为激活函数)网络结构及其定义域划分示意图[32]

图7. 简单的深层PWLNN定义域划分示意图[33]

对于更为一般的情(qing)况,与浅层PWLNN模型类似,深层PWLNN网络中神经元的连接方式也可多樣(yang)化,例如全连接网络和卷(juan)積(ji)神经网络CNN,以及逐层连接和殘(can)差(cha)网络ResNet。

进一步(bu)的,PWLNN中神经元間(jian)的非线性傳(chuan)遞(di)函数也可以为一般形式的连续分片线性函数,不僅(jin)限于一般的一维函数,例如ReLU及Leaky ReLU[34],也可以为多维的Maxout[26]等。

图8示意了具有一般形式的PWLNN网络结构,适用于上述所有浅层和深层PWLNN模型。

图8. 一般PWLNN模型结构示意图

学习算法

浅层的PWLNN的参数学习算法主要是增量式地逐步添(tian)加神经元和/或更新参数,其目標(biao)是学习到一个更宽的网络,以实现更好的学习效果。

不同的浅层PWLNN模型通常有其特有的学习算法,充分考虑模型特有的幾(ji)何(he)特性及实際(ji)应用需(xu)求(qiu),例如图4(a)中对应的链接超平面模型对应找(zhao)链接算法[13],及图4(b)中单纯形模型对应的基于单纯形找片的辨识算[2]等。

以图9为例,通过逐步添加左侧所示的辨识得到的三个基函数,可得到右侧对应的PWLNN,实现对示例中正(zheng)弦(xian)函数的逼近。

图9. 基于增量式学习的单纯形找片算法示意图[2]

浅层的PWLNN广泛应用于函数逼近、系统辨识及预测控制等领域中的问题,但(dan)在处理高维问题、大规模数据及复杂任务时,这些模型的灵活性及算法效率仍(reng)具有局限性[5]。

相比較(jiao)而言,深层的PWLNN的学习则延(yan)续了深度学习中一般深度网络的优化算法,即其通常具有预先(xian)确定的网络结构,并在基于梯(ti)度反向传播(bo)策(ce)略(lve)和随机梯度下降(jiang)算法的学习框(kuang)架(jia)下进,优化网络参数,这样实现了对优化过程的简化并提高了学习效率,从而使其可以求解复杂问题[16]。

值(zhi)得一提的是,分片线性激活函数(如ReLU)的引入,能有效抑(yi)制梯度消(xiao)失(shi)等影(ying)響(xiang)深度学习应用效果的不利特性[22],因此PWLNN的发展也在一定程度上促进了深度学习的发展。

此外,在GPU/TPU等硬(ying)件(jian)和各类成熟的深度学习軟(ruan)件平台的支(zhi)撐(cheng)下,对计算能力具有较高需求的深层的PWLNN能够应用于更大规模的问题,使其在当今的大数据时代(dai)脫(tuo)穎(ying)而出。

分片线性特性

与其他非线性函数不同,分片线性函数具有一个重要性质,即其对定义域划分和子区域局部线性表达的可解釋(shi)性。

除(chu)了强大的逼近能力,目前分片线性還(hai)被广泛的应用于深度学习中的各类理论分析中[24-30],例如通过利用线性子区域邊(bian)界(jie)特性验證(zheng)对于给定输出情况下网络输出预测的鲁棒(bang)性验证[28-29],以及利用估计线性子区域片数衡(heng)量网络灵活性[24]等。

深层PWLNN的分片线性特性导致的复杂的子区域划分及模型表达式会阻(zu)礙(ai)分片线性函数的可解释能力和带来难易预测的行为特征(zheng)。

浅层的PWLNN的建模及学习算法通常会考虑定义域中各子区域的局部线性特征,并以实现足够稀(xi)疏(shu)的模型结构为参数学习目标。

特別(bie)地,具有不同形式的浅层PWLNN对应了不同的参数学习算法,这些算法充分考虑了各模型特有的几何特征,从而实现较好的学习效果。

例如,对应于链接超平面模型的找链接算法[13],对应于自适应链接超平面模型的基于定义域划分的樹(shu)形结构算法[9]等。

然而,深层的PWLNN通常忽(hu)略了模型的几何特征,而通过为各个神经節(jie)点配置形式简单的分片线性映射函数,并结合多层结构带来的非线性特性逐层疊(die)加效应,以实现极其复杂的子区域划分和局部线性表达。

盡(jin)管(guan)在各领域问题的求解过程中的数值结果证明了深层PWLNN的优越(yue)性能,但模型参数学习算法与模型结构相獨(du)立,一般采(cai)用深度学习的常用策略,即随机梯度下降算法,而忽略了分片线性特性对学习过程的影响。

因此,在这一点上,未(wei)来仍有很(hen)多亟(ji)待研究的问题。

例如,如何为具有不同网络结构和神经元映射函数的PWLNN构建特有的学习算法,在保持参数稀疏性和模型可解释性的同时,提升学习过程的效率和效果;

对于给定数据集,是否(fou)能够以及如何找到一个具有最简单结构和模型可解释性的深层PWLNN;

这样的PWLNN应该通过显式的构建一个浅层PWLNN或隐式的的正则化一个深层PWLNN得以实现;

如何建立PWLNN与其他强調(tiao)局部特征学习的深度神经网络之间的区别和关系等。

综上,此综述对PWLNN方法论进行了的系统性回(hui)顧(gu),从浅层网络和深层网络两个方面对表示模型、学习算法、基础理论及实际应用等方面内容(rong)进行了梳(shu)理,展现了浅层的PWLNN向当今广泛使用的深层的PWLNN的发展历程,全面剖(pou)析了二者之间的关联关系,并对现存(cun)问题和未来研究方向进行了深入討(tao)论。

不同背景的读者可以很容易地了解到从PWLNN的开创性工作到当今深度学习中最先进的PWLNN的发展路线。同时,通过重新思(si)考早(zao)期的经典工作,可将其与最新研究工作相互(hu)结合,以促进对深层PWLNN的更深入研究。

综述文章閱(yue)读链接:https://rdcu.be/cPIGw

综述文章下載(zai)链接https://www.nature.com/articles/s43586-022-00125-7

arXiv版本下载链接 https://arxiv.org/abs/2206.09149

编辑同期配发了PrimeView进行推介 https://www.nature.com/articles/s43586-022-00137-3

参考資(zi)料(liao):

[1] Tao, Q., Li, L., Huang, X. et al. Piecewise linear neural networks and deep learning. Nat Rev Methods Primers 2, 42 (2022).

[2] Yu, J., Wang, S. & Li, L. Incremental design of simplex basis function model for dynamic system identification. IEEE Transactions on Neural Networks Learn. Syst. 29, 4758–4768 (2017).

[3] Chua, L. O. & Deng, A. Canonical piecewise-linear representation. IEEE Trans. Circuits Syst. 35, 101–111 (1988). This paper presents a systematic analysis of Canonical Piecewise Linear Representations, including some crucial properties of PWLNNs.

[4] Breiman, L. Hinging hyperplanes for regression, classification, and function approximation. IEEE Trans. Inf. Theory 39, 999–1013 (1993). This paper introduces the hinging hyperplanes representation model and its hinge-finding learning algorithm. The connection with ReLU in PWL-DNNs can be referred to.

[5] Julián, P. A High Level Canonical Piecewise Linear Representation: Theory and Applications. Ph.D. thesis, Universidad Nacional del Sur (Argentina) (1999). This dissertation gives a very good view on the PWL functions and their applications mainly in circuit systems developed before the 2000s.

[6] Tarela, J. & Martínez, M. Region configurations for realizability of lattice piecewise-linear models. Math. Computer Model. 30, 17–27 (1999). This work presents formal proofs on the universal representation ability of the lattice representation and summarizes different locally linear subregion realizations.

[7] Wang, S. General constructive representations for continuous piecewise-linear functions. IEEE Trans. Circuits Syst. I Regul. Pap. 51, 1889–1896 (2004). This paper considers a general constructive method for representing an arbitrary PWL function, in which significant differences and connections between different representation models are vigorously discussed. Many theoretical analyses on deep PWLNNs adopt the theorems and lemmas proposed.

[8] Wang, S. & Sun, X. Generalization of hinging hyperplanes. IEEE Trans. Inf. Theory 51, 4425–4431 (2005). This paper presents the idea of inserting multiple linear functions in the hinge, and formal proofs are given for the universal representation ability for continuous PWL functions. The connection with maxout in deep PWLNNs can be referred to.

[9] Xu, J., Huang, X. & Wang, S. Adaptive hinging hyperplanes and its applications in dynamic system identification. Automatica 45, 2325–2332 (2009).

[10] Tao, Q. et al. Learning with continuous piecewise linear decision trees. Expert. Syst. Appl. 168, 114–214 (2021).

[11] Tao, Q. et al. Toward deep adaptive hinging hyperplanes. IEEE Transactions on Neural Networks and Learning Systems (IEEE, 2022).

[12] Chien, M.-J. Piecewise-linear theory and computation of solutions of homeomorphic resistive networks. IEEE Trans. Circuits Syst. 24, 118–127 (1977)

[13] Pucar, P. & Sj?berg, J. On the hinge-finding algorithm for hinging hyperplanes. IEEE Trans. Inf. Theory 44, 3310–3319 (1998).

[14] Huang, X., Xu, J. & Wang, S. in Proc. American Control Conf. 4431–4936 (IEEE, 2010). This paper proposes a gradient descent learning algorithm for PWLNNs, where domain partitions and parameter optimizations are both elucidated.

[15] Hush, D. & Horne, B. Efficient algorithms for function approximation with piecewise linear sigmoidal networks. IEEE Trans. Neural Netw. 9, 1129–1141 (1998).

[16] LeCun, Y. et al. Gradient-based learning applied to document recognition. Proc. IEEE 86, 2278–2324 (1998). This work formally introduces the basic learning framework for generic deep learning including deep PWLNNs.

[17] He, K., Zhang, X., Ren, S. & Sun, J. in Proc. IEEE Int. Conf. Computer Vision 1026–1034 (IEEE, 2015). This paper presents modifications of optimization strategies on the PWL-DNNs and a novel PWL activation function, where PWL-DNNs can be delved into fairly deep.

[18] Tao, Q., Xu, J., Suykens, J. A. K. & Wang, S. in Proc. IEEE Conf. Decision and Control 1482–1487 (IEEE, 2018).

[19] Wang, G., Giannakis, G. B. & Chen, J. Learning ReLU networks on linearly separable data: algorithm, optimality, and generalization. IEEE Trans. Signal. Process. 67, 2357–2370 (2019).

[20] Tsay, C., Kronqvist, J., Thebelt, A. & Misener, R. Partition-based formulations for mixed-integer optimization of trained ReLU neural networks. Adv. Neural Inf. Process. Syst. 34, 2993–3003 (2021).

[21] Nair, V. & Hinton, G. in Proc. Int. Conf. on Machine Learning (eds Fürnkranz, J. & Joachims, T.) 807–814 (2010). This paper initiates the prevalence and state-of-theart performance of PWL-DNNs, and establishes the most popular ReLU.

[22] Glorot, X., Bordes, A. & Bengio, Y. Deep sparse rectifier neural networks. PMLR 15, 315–323 (2011).

[23] Lin, J. N. & Unbehauen, R. Canonical piecewise-linear networks. IEEE Trans. Neural Netw. 6, 43–50 (1995). This work depicts network topology for Generalized Canonical Piecewise Linear Representations, and also discusses the idea of introducing general PWL activation functions for deep PWLNNs, yet without numerical evaluations.

[24] Pascanu, R., Montufar, G. & Bengio, Y. in Adv. Neural Inf. Process. Syst. 2924–2932 (NIPS, 2014). This paper presents the novel perspective of measuring the capacity of deep PWLNNs, namely the number of linear sub-regions, where how to utilize the locally linear property is introduced with mathematical proofs and intuitive visualizations.

[25] Bemporad, A., Borrelli, F. & Morari, M. Piecewise linear optimal controllers for hybrid systems. Proc. Am. Control. Conf. 2, 1190–1194 (2000). This work introduces the characteristics of PWL in control systems and the applications of PWL non-linearity.

[26] Goodfellow, I., Warde-Farley, D., Mirza, M., Courville, A. & Bengio, Y. in Proc. Int. Conf. Machine Learning Vol. 28 (eds Dasgupta, S. & McAllester, D.) 1319–1327 (PMLR, 2013). This paper proposes a flexible PWL activation function for deep PWLNNs, and ReLU can be regarded as its special case, and analysis on the universal approximation ability and the relations to the shallow-architectured PWLNNs are given.

[27] Yarotsky, D. Error bounds for approximations with deep ReLU networks. Neural Netw. 94, 103–114 (2017).

[28] Bunel, R., Turkaslan, I., Torr, P. H. S., Kohli, P. & Mudigonda, P. K. in Adv. Neural Inf. Process. Syst. Vol. 31 (eds Bengio, S. et al.) 4795–4804 (2018).

[29] Jia, J., Cao, X., Wang, B. & Gong, N. Z. in Proc. Int. Conf. Learning Representations (ICLR, 2020).

[30] DeVore, R., Hanin, B. & Petrova, G. Neural network approximation. Acta Numerica 30, 327–444 (2021). This work describes approximation properties of neural networks as they are presently understood and also discusses their performance with other methods of approximation, where ReLU are centred in the analysis involving univariate and multivariate forms with both shallow and deep architectures.

[31] Xu, J., Boom, T., Schutter, B. & Wang, S. Irredundant lattice representations of continuous piecewise affine functions. Automatica 70, 109–120 (2016). This paper formally describe the PWLNNs with irredundant lattice representations, which possess universal representation ability for any continuous PWL functions and yet has not been fully explored to construct the potentially promising deep architectures.

[32] Hu, Q., Zhang, H., Gao, F., Xing, C. & An, J. Analysis on the number of linear regions of piecewise linear neural networks. IEEE Transactions on Neural Networks Learn. Syst. 33, 644–653 (2022).

[33] Zhang, X. & Wu, D. Empirical studies on the properties of linear regions in deep neural networks. In Proceeding of the International Conference on Learning Representations (2020).

[34] Maas, A., Hannun, A. Y. & Ng, A. Y. Rectifier nonlinearities improve neural network acoustic models. Proc. ICML 30, 3 (2013).返(fan)回搜狐(hu),查(zha)看(kan)更多

責(ze)任编辑:

发布于:广东深圳南山区