借贷宝广告 真的要停了吗?

借贷宝广告:牵动人心,让人担忧的消息

最近,关于借贷宝广告要停播的消息在社交网络上疯传,引起了广大用户的极大关注和担忧。作为一家长期从事借贷行业的企业,借贷宝广告的停播对用户乃至整个行业的影响都是非常大的。

那么,这个消息是真的吗?借贷宝广告真的要停了吗?下面我们就来一起深入探讨。

借贷宝广告停止播放:真相到底如何?

事实上,借贷宝广告停止播放的消息并不属实。公司方面已经进行了回应,表示这是一些不实的传言,公司的业务依然正常运营。

不过,这一消息的传播还是说明了一个问题,借贷行业在发展过程中,需要各方共同努力,遵守相关法规,坚持合法经营,保障用户的利益和安全。对于借贷宝公司来说,也需要注意自身的经营行为,积极配合政府部门的监管工作,不断提高服务质量,赢得用户信任。

借贷宝广告停播,是否会对用户造成影响?

借贷宝广告停播会对用户造成一定影响,特别是那些正在寻找借款渠道的用户。但是,这并不是让用户失去信心的理由,用户可以通过咨询公司的客服,了解相关产品和服务。

此外,用户在选择借款公司时,也需要注意选择正规的公司,避免落入不法分子的陷阱。可以通过了解公司的经营资质和信誉,以及产品的利率、还款期限等方面,来进行选择。通过合理合法借贷,是用户保障自身利益和安全的最好办法。

结论

借贷宝广告停播的消息,并不属实。作为消费者,我们需要保持警惕,了解相关法规和公司的经营状况,在选择借贷公司时慎重考虑。同时,借贷公司也需要积极配合政府部门的监管工作,加强自身的合规经营,提高服务质量,稳健发展。

借贷宝广告 真的要停了吗?特色

1、可以选择不同的小公主造型,可以搭配不同的衣服配饰;

2、更方便的图片操作

3、层层严选,邀请武志红等拥有专业受训背景的00+位资深心理咨询师入驻

4、开始你的不断闯关,完成游戏精心设置的任务,更好的去摆脱这个困境;

5、简单的作战模式,丰富的游戏玩法,新的挑战等着你去体验

借贷宝广告 真的要停了吗?亮点

1、还可以在手机上管理垃圾清理等功能,随时查看手机温度。

2、战斗阵容的策略搭配,实力尽情的发挥,指挥作战的过程中找准机会释放炫酷神技,秒杀全场

3、万人攻城的热闹场面,有很多未知的秘密在等待玩家探索,时代的变迁,经典的传奇玩法还在这里;

4、查看相应联系人和模拟电话的位置信息,在发生危险时帮助您解决危险

5、疯狂的伐木人

keyixuanzebutongdexiaogongzhuzaoxing,keyidapeibutongdeyifupeishi;gengfangbiandetupiancaozuocengcengyanxuan,yaoqingwuzhihongdengyongyouzhuanyeshouxunbeijingde00+weizishenxinlizixunshiruzhukaishinidebuduanchuangguan,wanchengyouxijingxinshezhiderenwu,genghaodequbaituozhegekunjing;jiandandezuozhanmoshi,fengfudeyouxiwanfa,xindetiaozhandengzheniqutiyan清(qing)華(hua)、上(shang)交(jiao)等(deng)聯(lian)合(he)發(fa)表(biao)Nature子(zi)刊(kan):「分(fen)片(pian)線(xian)性(xing)神(shen)經(jing)網(wang)絡(luo)」最(zui)新(xin)綜(zong)述(shu)!

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji):LRS 好(hao)困(kun)

【新智元導(dao)讀(du)】壹(yi)篇(pian)論(lun)文(wen)帶(dai)妳(ni)读完(wan)「連(lian)續(xu)分片线性函(han)數(shu)」的(de)发展(zhan)。

连续分片线性函数是(shi)一類(lei)具(ju)備(bei) 局(ju)部(bu)线性特(te)性和(he) 全(quan)局非(fei)线性特性的 连续函数。具有(you)特定(ding)表示(shi)模(mo)型(xing)的连续分片线性函数能(neng)夠(gou)對(dui)緊(jin)集(ji)上的任(ren)意(yi)连续函数進(jin)行(xing)全局逼(bi)近(jin)。

其(qi)本(ben)質(zhi)是利(li)用(yong)有限(xian)数量(liang)的线性函数对復(fu)雜(za)的 非线性系(xi)統(tong)进行精(jing)確(que)建(jian)模,即(ji)在(zai)保(bao)持(chi)局部线性特性的同(tong)時(shi),使(shi)整(zheng)體(ti)建模表現(xian)出(chu)非线性特性。

分片线性神经网络(PieceWise Linear Neural Networks,PWLNN)是利用连续分片线性函数对非线性系统建模的主(zhu)要(yao)方(fang)法(fa)之(zhi)一。

當(dang)合理(li)配(pei)置(zhi)神经网络网络結(jie)構(gou)及(ji)神经元中(zhong)的 激(ji)活(huo)函数(如(ru)ReLU等分片线性映(ying)射(she)函数),可(ke)以(yi)得(de)到(dao)一类PWLNN,並(bing)以此(ci)為(wei)基(ji)礎(chu),靈(ling)活利用常(chang)見(jian)的神经网络模型參(can)数優(you)化(hua)算(suan)法和各(ge)类成(cheng)熟(shu)的計(ji)算平(ping)臺(tai),實(shi)现对复杂非线性系统或(huo)数據(ju)集进行黑(hei)箱(xiang)建模。

圖(tu)1 二(er)維(wei)连续分片线性函数示例(li)[2]

最近由(you) 清华大(da)學(xue)自(zi)動(dong)化系、 比(bi)利时荷(he)語(yu)魯(lu)汶(wen)大学電(dian)子系、 上海(hai)交通(tong)大学自动化系以及 之江(jiang)实驗(yan)室(shi)的研(yan)究(jiu)人(ren)員(yuan)共(gong)同完成的一篇发表在 《自然(ran)-综述》系列(lie)期(qi)刊上的综述论文,系统地(di)介(jie)紹(shao)了(le) 分片线性神经网络表示模型(包(bao)括(kuo)淺(qian)層(ceng)及深(shen)度(du)网络)、优化算法、理论分析(xi)以及應(ying)用。

清华大学自动化系 李(li)力(li)教(jiao)授(shou)及王(wang)書(shu)寧(ning)教授指(zhi)导的博(bo)士(shi)畢(bi)業(ye)生(sheng) 陶(tao)清华(现任比利时荷语鲁汶大学博士後(hou))、 黃(huang)曉(xiao)霖(lin)(现任上海交通大学副(fu)教授)为论文的通訊(xun)作(zuo)者(zhe),其中陶清华博士为论文第(di)一作者,其他(ta)共同作者包括 王书宁教授、比利时荷语鲁汶大学 Johan A.K. Suykens教授及王书宁教授指导的博士毕业生 襲(xi)向(xiang)明(ming)(现任之江实验室助(zhu)理研究员)。

清华大学自动化系王书宁教授團(tuan)隊(dui)近二十(shi)年(nian)來(lai)在分片线性神经网络方向開(kai)展了系统的研究,取(qu)得了一些(xie)重(zhong)要成果(guo),顯(xian)著(zhu)推(tui)进了該(gai)領(ling)域(yu)的发展。

目(mu)前(qian),团队成员遍(bian)布(bu)於(yu)國(guo)內(nei)外(wai)的研究機(ji)构,繼(ji)续從(cong)事(shi)分片线性神经网络及其相(xiang)關(guan)科(ke)研工(gong)作,共同促(cu)进相关理论的发展和成果轉(zhuan)化。

Nature Reviews Methods Primers于2021年1月(yue)創(chuang)刊,致(zhi)力于加(jia)強(qiang)跨(kua)学科的協(xie)作,出版(ban)多(duo)领域前沿(yan)方法或技(ji)術(shu)的综述文章(zhang),旨(zhi)在为處(chu)于不(bu)同職(zhi)业階(jie)段(duan)或具有不同研究背(bei)景(jing)/不同知(zhi)識(shi)儲(chu)备的跨学科研究者和实踐(jian)者提(ti)供(gong)了解(jie)、評(ping)估(gu)和应用前沿方法和技术的信(xin)息(xi)交流(liu)平台。

基本背景及发展歷(li)程(cheng)

为了將(jiang)PWLNN更(geng)好地应用于数据科学,学者們(men)長(chang)期以来一直(zhi)圍(wei)繞(rao)兩(liang)個(ge)基本問(wen)題(ti)展开研究,即表示模型及其参数学習(xi)算法,其中前者旨在建立(li)具备分片线性特性和充(chong)分的逼近能力的数学模型[2-11],后者則(ze)研究適(shi)应大規(gui)模数据的表示模型参数準(zhun)确而(er)快(kuai)速(su)的学习算法[9-22],从而使PWLNN能够准确描(miao)述給(gei)定数据或待(dai)研究系统对象(xiang)的特性。

图3. 模型部分概(gai)況(kuang)[1]

1977年,著名(ming)电路(lu)系统專(zhuan)家(jia)蔡(cai)少(shao)棠(tang)(Leon O. Chua)等在电路系统分析中首(shou)次(ci)成功(gong)提出了紧湊(cou)的PWLNN表示法,即典(dian)範(fan)表示模型[3]。

1993年,著名统计和机器(qi)学习专家Leo Breiman开创了另(ling)一类基于鉸(jiao)鏈(lian)的模型表示,即链接(jie)超(chao)平面(mian)模型[4],其與(yu)当今(jin)深度神经网络中最流行的激活函数之一,即线性整流單(dan)元(Rectified Linear Units, ReLU),極(ji)为类似(si)。

隨(sui)后王书宁教授将其推廣(guang)至(zhi)具有全局表示能力的广義(yi)链接超平面模型[8]。

随著(zhe)典范表示模型和链接超平面模型的提出,PWLNN相关研究也(ye)得到快速发展,其中大部分工作围绕浅层网络结构和参数学习方法而展开。

2010年,Nair和Hinton提出的ReLU21大幅(fu)度提高(gao)了深度学习在各種(zhong)基于数据驅(qu)动的任務(wu)中的效(xiao)果,使得具有深层网络结构的PWLNN得到更加广泛(fan)的关註(zhu)。

PWLNN表示模型及其学习方法

如上图3所(suo)示,PWLNN可分为两大类,即浅层的PWLNN(如图3中下(xia)半(ban)部分左(zuo)右(you)两图所示)和深层的PWLNN(如图2中上半部分图)。

浅层的PWLNN主要分为两大类,即基函数組(zu)合模型及格(ge)模型。

其中前者通過(guo)对具有不同结构、参数和特性的基函数进行组合,如图4(a)(b)所示,实现能够滿(man)足(zu)不同場(chang)景的具有不同逼近能力、表示能力、参数及结构的辨(bian)识難(nan)易(yi)程度的PWLNN

后者则通过显式(shi)枚(mei)舉(ju)可行域的各个子區(qu)域所对应的线性表達(da),并利用min-max(或max-min)的嵌(qian)套(tao)形(xing)式,实现PWLNN的紧凑表示,如图4(c)所示。

格模型中线性子区域的显式表达特性在一些特定应用场景下尤(you)为重要,例如模型預(yu)測(ce)控(kong)制(zhi)[25,31]。

图4. (a) 二维链接超平面模型基函数示意图; (b) 二维单純(chun)形模型基函数示意图;(c) 一维格模型示例图 (含(han)5个子区域线性表达式)

对比而言(yan),由于网络深度的限制,浅层的PWLNN通常通过篩(shai)選(xuan)更为有效的神经元,而逐(zhu)漸(jian)增(zeng)加网络寬(kuan)度的方式,提升(sheng)模型灵活性,然而在反(fan)复搜(sou)索(suo)有效神经元的过程往(wang)往會(hui)犧(xi)牲(sheng)算法效率(lv),同时缺(que)少对全局信息的考(kao)慮(lv)。

与浅层PWLNN更加側(ce)重于神经元连接方式的特點(dian)不同,深层的PWLNN更加侧重于在深度神经网络中引(yin)入(ru)形式簡(jian)单的分片线性函数作为激活单元,从而是深层PWLNN整体表现为逐层嵌套的分片线性映射函数。

深层的PWLNN更偏(pian)好于增加网络深度[23],這(zhe)种方式的优勢(shi)在于能够更加高效而灵活地实现分片线性子区域的劃(hua)分,并使模型具有更好的灵活性,例如图5中的典型全连接深层PWLNN模型结构示意。

图5. 一般(ban)PWLNN模型结构示意图

通过逐层的分片线性函数映射,定义域会被(bei)划分为更多的线性子区域,如图6所示。

图6中(b)、(c)、(d)为(a)所示网络中第一层隱(yin)含层、第二隐含层、第三(san)隐含层中神经元輸(shu)出对应的定义域划分,可见随着网络深度的嵌套网络定义域被划分成更多的子区域,即神经元输出由更多不同片线性子函数构成,因(yin)此可以得到更为灵活的PWLNN。

又(you)例如图7中示例所示,随着网络层数的加深,定义域可被灵活的划分为眾(zhong)多具有线性特性的子区域,从而可以更为精确的地对数据进行擬(ni)合,实现强大的逼近能力。

图6. 二维简单PWLNN(ReLU为激活函数)网络结构及其定义域划分示意图[32]

图7. 简单的深层PWLNN定义域划分示意图[33]

对于更为一般的情(qing)况,与浅层PWLNN模型类似,深层PWLNN网络中神经元的连接方式也可多樣(yang)化,例如全连接网络和卷(juan)積(ji)神经网络CNN,以及逐层连接和殘(can)差(cha)网络ResNet。

进一步(bu)的,PWLNN中神经元間(jian)的非线性傳(chuan)遞(di)函数也可以为一般形式的连续分片线性函数,不僅(jin)限于一般的一维函数,例如ReLU及Leaky ReLU[34],也可以为多维的Maxout[26]等。

图8示意了具有一般形式的PWLNN网络结构,适用于上述所有浅层和深层PWLNN模型。

图8. 一般PWLNN模型结构示意图

学习算法

浅层的PWLNN的参数学习算法主要是增量式地逐步添(tian)加神经元和/或更新参数,其目標(biao)是学习到一个更宽的网络,以实现更好的学习效果。

不同的浅层PWLNN模型通常有其特有的学习算法,充分考虑模型特有的幾(ji)何(he)特性及实際(ji)应用需(xu)求(qiu),例如图4(a)中对应的链接超平面模型对应找(zhao)链接算法[13],及图4(b)中单纯形模型对应的基于单纯形找片的辨识算[2]等。

以图9为例,通过逐步添加左侧所示的辨识得到的三个基函数,可得到右侧对应的PWLNN,实现对示例中正(zheng)弦(xian)函数的逼近。

图9. 基于增量式学习的单纯形找片算法示意图[2]

浅层的PWLNN广泛应用于函数逼近、系统辨识及预测控制等领域中的问题,但(dan)在处理高维问题、大规模数据及复杂任务时,这些模型的灵活性及算法效率仍(reng)具有局限性[5]。

相比較(jiao)而言,深层的PWLNN的学习则延(yan)续了深度学习中一般深度网络的优化算法,即其通常具有预先(xian)确定的网络结构,并在基于梯(ti)度反向传播(bo)策(ce)略(lve)和随机梯度下降(jiang)算法的学习框(kuang)架(jia)下进,优化网络参数,这样实现了对优化过程的简化并提高了学习效率,从而使其可以求解复杂问题[16]。

值(zhi)得一提的是,分片线性激活函数(如ReLU)的引入,能有效抑(yi)制梯度消(xiao)失(shi)等影(ying)響(xiang)深度学习应用效果的不利特性[22],因此PWLNN的发展也在一定程度上促进了深度学习的发展。

此外,在GPU/TPU等硬(ying)件(jian)和各类成熟的深度学习軟(ruan)件平台的支(zhi)撐(cheng)下,对计算能力具有较高需求的深层的PWLNN能够应用于更大规模的问题,使其在当今的大数据时代(dai)脫(tuo)穎(ying)而出。

分片线性特性

与其他非线性函数不同,分片线性函数具有一个重要性质,即其对定义域划分和子区域局部线性表达的可解釋(shi)性。

除(chu)了强大的逼近能力,目前分片线性還(hai)被广泛的应用于深度学习中的各类理论分析中[24-30],例如通过利用线性子区域邊(bian)界(jie)特性验證(zheng)对于给定输出情况下网络输出预测的鲁棒(bang)性验证[28-29],以及利用估计线性子区域片数衡(heng)量网络灵活性[24]等。

深层PWLNN的分片线性特性导致的复杂的子区域划分及模型表达式会阻(zu)礙(ai)分片线性函数的可解释能力和带来难易预测的行为特征(zheng)。

浅层的PWLNN的建模及学习算法通常会考虑定义域中各子区域的局部线性特征,并以实现足够稀(xi)疏(shu)的模型结构为参数学习目标。

特別(bie)地,具有不同形式的浅层PWLNN对应了不同的参数学习算法,这些算法充分考虑了各模型特有的几何特征,从而实现较好的学习效果。

例如,对应于链接超平面模型的找链接算法[13],对应于自适应链接超平面模型的基于定义域划分的樹(shu)形结构算法[9]等。

然而,深层的PWLNN通常忽(hu)略了模型的几何特征,而通过为各个神经節(jie)点配置形式简单的分片线性映射函数,并结合多层结构带来的非线性特性逐层疊(die)加效应,以实现极其复杂的子区域划分和局部线性表达。

盡(jin)管(guan)在各领域问题的求解过程中的数值结果证明了深层PWLNN的优越(yue)性能,但模型参数学习算法与模型结构相獨(du)立,一般采(cai)用深度学习的常用策略,即随机梯度下降算法,而忽略了分片线性特性对学习过程的影响。

因此,在这一点上,未(wei)来仍有很(hen)多亟(ji)待研究的问题。

例如,如何为具有不同网络结构和神经元映射函数的PWLNN构建特有的学习算法,在保持参数稀疏性和模型可解释性的同时,提升学习过程的效率和效果;

对于给定数据集,是否(fou)能够以及如何找到一个具有最简单结构和模型可解释性的深层PWLNN;

这样的PWLNN应该通过显式的构建一个浅层PWLNN或隐式的的正则化一个深层PWLNN得以实现;

如何建立PWLNN与其他强調(tiao)局部特征学习的深度神经网络之间的区别和关系等。

综上,此综述对PWLNN方法论进行了的系统性回(hui)顧(gu),从浅层网络和深层网络两个方面对表示模型、学习算法、基础理论及实际应用等方面内容(rong)进行了梳(shu)理,展现了浅层的PWLNN向当今广泛使用的深层的PWLNN的发展历程,全面剖(pou)析了二者之间的关联关系,并对现存(cun)问题和未来研究方向进行了深入討(tao)论。

不同背景的读者可以很容易地了解到从PWLNN的开创性工作到当今深度学习中最先进的PWLNN的发展路线。同时,通过重新思(si)考早(zao)期的经典工作,可将其与最新研究工作相互(hu)结合,以促进对深层PWLNN的更深入研究。

综述文章閱(yue)读链接:https://rdcu.be/cPIGw

综述文章下載(zai)链接https://www.nature.com/articles/s43586-022-00125-7

arXiv版本下载链接 https://arxiv.org/abs/2206.09149

编辑同期配发了PrimeView进行推介 https://www.nature.com/articles/s43586-022-00137-3

参考資(zi)料(liao):

[1] Tao, Q., Li, L., Huang, X. et al. Piecewise linear neural networks and deep learning. Nat Rev Methods Primers 2, 42 (2022).

[2] Yu, J., Wang, S. & Li, L. Incremental design of simplex basis function model for dynamic system identification. IEEE Transactions on Neural Networks Learn. Syst. 29, 4758–4768 (2017).

[3] Chua, L. O. & Deng, A. Canonical piecewise-linear representation. IEEE Trans. Circuits Syst. 35, 101–111 (1988). This paper presents a systematic analysis of Canonical Piecewise Linear Representations, including some crucial properties of PWLNNs.

[4] Breiman, L. Hinging hyperplanes for regression, classification, and function approximation. IEEE Trans. Inf. Theory 39, 999–1013 (1993). This paper introduces the hinging hyperplanes representation model and its hinge-finding learning algorithm. The connection with ReLU in PWL-DNNs can be referred to.

[5] Julián, P. A High Level Canonical Piecewise Linear Representation: Theory and Applications. Ph.D. thesis, Universidad Nacional del Sur (Argentina) (1999). This dissertation gives a very good view on the PWL functions and their applications mainly in circuit systems developed before the 2000s.

[6] Tarela, J. & Martínez, M. Region configurations for realizability of lattice piecewise-linear models. Math. Computer Model. 30, 17–27 (1999). This work presents formal proofs on the universal representation ability of the lattice representation and summarizes different locally linear subregion realizations.

[7] Wang, S. General constructive representations for continuous piecewise-linear functions. IEEE Trans. Circuits Syst. I Regul. Pap. 51, 1889–1896 (2004). This paper considers a general constructive method for representing an arbitrary PWL function, in which significant differences and connections between different representation models are vigorously discussed. Many theoretical analyses on deep PWLNNs adopt the theorems and lemmas proposed.

[8] Wang, S. & Sun, X. Generalization of hinging hyperplanes. IEEE Trans. Inf. Theory 51, 4425–4431 (2005). This paper presents the idea of inserting multiple linear functions in the hinge, and formal proofs are given for the universal representation ability for continuous PWL functions. The connection with maxout in deep PWLNNs can be referred to.

[9] Xu, J., Huang, X. & Wang, S. Adaptive hinging hyperplanes and its applications in dynamic system identification. Automatica 45, 2325–2332 (2009).

[10] Tao, Q. et al. Learning with continuous piecewise linear decision trees. Expert. Syst. Appl. 168, 114–214 (2021).

[11] Tao, Q. et al. Toward deep adaptive hinging hyperplanes. IEEE Transactions on Neural Networks and Learning Systems (IEEE, 2022).

[12] Chien, M.-J. Piecewise-linear theory and computation of solutions of homeomorphic resistive networks. IEEE Trans. Circuits Syst. 24, 118–127 (1977)

[13] Pucar, P. & Sj?berg, J. On the hinge-finding algorithm for hinging hyperplanes. IEEE Trans. Inf. Theory 44, 3310–3319 (1998).

[14] Huang, X., Xu, J. & Wang, S. in Proc. American Control Conf. 4431–4936 (IEEE, 2010). This paper proposes a gradient descent learning algorithm for PWLNNs, where domain partitions and parameter optimizations are both elucidated.

[15] Hush, D. & Horne, B. Efficient algorithms for function approximation with piecewise linear sigmoidal networks. IEEE Trans. Neural Netw. 9, 1129–1141 (1998).

[16] LeCun, Y. et al. Gradient-based learning applied to document recognition. Proc. IEEE 86, 2278–2324 (1998). This work formally introduces the basic learning framework for generic deep learning including deep PWLNNs.

[17] He, K., Zhang, X., Ren, S. & Sun, J. in Proc. IEEE Int. Conf. Computer Vision 1026–1034 (IEEE, 2015). This paper presents modifications of optimization strategies on the PWL-DNNs and a novel PWL activation function, where PWL-DNNs can be delved into fairly deep.

[18] Tao, Q., Xu, J., Suykens, J. A. K. & Wang, S. in Proc. IEEE Conf. Decision and Control 1482–1487 (IEEE, 2018).

[19] Wang, G., Giannakis, G. B. & Chen, J. Learning ReLU networks on linearly separable data: algorithm, optimality, and generalization. IEEE Trans. Signal. Process. 67, 2357–2370 (2019).

[20] Tsay, C., Kronqvist, J., Thebelt, A. & Misener, R. Partition-based formulations for mixed-integer optimization of trained ReLU neural networks. Adv. Neural Inf. Process. Syst. 34, 2993–3003 (2021).

[21] Nair, V. & Hinton, G. in Proc. Int. Conf. on Machine Learning (eds Fürnkranz, J. & Joachims, T.) 807–814 (2010). This paper initiates the prevalence and state-of-theart performance of PWL-DNNs, and establishes the most popular ReLU.

[22] Glorot, X., Bordes, A. & Bengio, Y. Deep sparse rectifier neural networks. PMLR 15, 315–323 (2011).

[23] Lin, J. N. & Unbehauen, R. Canonical piecewise-linear networks. IEEE Trans. Neural Netw. 6, 43–50 (1995). This work depicts network topology for Generalized Canonical Piecewise Linear Representations, and also discusses the idea of introducing general PWL activation functions for deep PWLNNs, yet without numerical evaluations.

[24] Pascanu, R., Montufar, G. & Bengio, Y. in Adv. Neural Inf. Process. Syst. 2924–2932 (NIPS, 2014). This paper presents the novel perspective of measuring the capacity of deep PWLNNs, namely the number of linear sub-regions, where how to utilize the locally linear property is introduced with mathematical proofs and intuitive visualizations.

[25] Bemporad, A., Borrelli, F. & Morari, M. Piecewise linear optimal controllers for hybrid systems. Proc. Am. Control. Conf. 2, 1190–1194 (2000). This work introduces the characteristics of PWL in control systems and the applications of PWL non-linearity.

[26] Goodfellow, I., Warde-Farley, D., Mirza, M., Courville, A. & Bengio, Y. in Proc. Int. Conf. Machine Learning Vol. 28 (eds Dasgupta, S. & McAllester, D.) 1319–1327 (PMLR, 2013). This paper proposes a flexible PWL activation function for deep PWLNNs, and ReLU can be regarded as its special case, and analysis on the universal approximation ability and the relations to the shallow-architectured PWLNNs are given.

[27] Yarotsky, D. Error bounds for approximations with deep ReLU networks. Neural Netw. 94, 103–114 (2017).

[28] Bunel, R., Turkaslan, I., Torr, P. H. S., Kohli, P. & Mudigonda, P. K. in Adv. Neural Inf. Process. Syst. Vol. 31 (eds Bengio, S. et al.) 4795–4804 (2018).

[29] Jia, J., Cao, X., Wang, B. & Gong, N. Z. in Proc. Int. Conf. Learning Representations (ICLR, 2020).

[30] DeVore, R., Hanin, B. & Petrova, G. Neural network approximation. Acta Numerica 30, 327–444 (2021). This work describes approximation properties of neural networks as they are presently understood and also discusses their performance with other methods of approximation, where ReLU are centred in the analysis involving univariate and multivariate forms with both shallow and deep architectures.

[31] Xu, J., Boom, T., Schutter, B. & Wang, S. Irredundant lattice representations of continuous piecewise affine functions. Automatica 70, 109–120 (2016). This paper formally describe the PWLNNs with irredundant lattice representations, which possess universal representation ability for any continuous PWL functions and yet has not been fully explored to construct the potentially promising deep architectures.

[32] Hu, Q., Zhang, H., Gao, F., Xing, C. & An, J. Analysis on the number of linear regions of piecewise linear neural networks. IEEE Transactions on Neural Networks Learn. Syst. 33, 644–653 (2022).

[33] Zhang, X. & Wu, D. Empirical studies on the properties of linear regions in deep neural networks. In Proceeding of the International Conference on Learning Representations (2020).

[34] Maas, A., Hannun, A. Y. & Ng, A. Y. Rectifier nonlinearities improve neural network acoustic models. Proc. ICML 30, 3 (2013).返(fan)回搜狐(hu),查(zha)看(kan)更多

責(ze)任编辑:

发布于:西藏昌都芒康县