汪张扬:深度学习中潜藏的稀疏表达

更新于 2016年6月26日 机器学习
我来说两句
统计之都   网页版 2016-06-25 11:59
深度学习 算法 神经网络 汪张扬
深度神经网络(DNN)结构难以分析的“黑盒子”特质,引发了学术界的众多探索。统计之都主站文章作者汪张扬撷沧海之一珠,从稀疏编码(sparse coding)的角度出发,初步分析和解释了DNN中的一些经验性成功。传送门:http://t.cn/R5lo29o

unluckyAllen 网页版 转发于2016-06-25 15:54  回复 @Kevin_机器学习_CA
这种解释实则不妥,就跟当年基于ica的sparse和基于l1 reg混为一谈一样。另外relu其实只能看作是shinkage,同时是2模型maxout的特例,当w1=-w2等价。

 

回复

首先,深度学习中蕴含着稀疏特性,可以参考论文《Sparseness Analysis in the Pretraining of Deep Neural Networks》,该论文从试验角度论述了稀疏性的存在性以及对深度网络的影响。其次,稀疏的特性在深度网络中的表现为正则性约束和链接权值矩阵的结构化,前者为了克服过拟合风险,后者主要从结构上描述输入与输出链接的稀疏性从而实现算法的高效性。另外,本博文的作者在说明深度学习与稀疏性的关系时,其实考虑了稀疏表示的ADMM算法,即更新稀疏项的软阈值算子,但是从软阈值算子到ReLu激活函数的过度的描述过于简单,但是动机非常清晰!

回复
取消