第1283期机器学习日报(2018-03-24)

更新于 2018年3月25日 机器学习
我来说两句
0 2018年3月25日

2018-03-24 日报 机器学习

机器学习日报 2018-03-24

@好东西传送门 出品,由@AI100运营, 过往目录http://daily.awesomeport.cn/ml

订阅:关注微信公众号 AI100(ID:rgznai100,扫二维码),回复“机器学习日报”,加你进日报群

微信公众号:rgznai100

本期话题有:

全部8 深度学习4 算法4 自然语言处理3 应用2 视觉2 语音1 公告板1 知识工程1 会议活动1

用日报搜索找到以前分享的内容: http://ml.memect.com/search/

爱可可-爱生活   网页版 2018-03-24 06:26
深度学习 语音 Kim Github 代码
【语音行为检测(VAD)工具箱(Tensorflow)】’Voice Activity Detection Toolkit – Voice activity detection (VAD) toolkit including DNN, bDNN, LSTM and ACAM based VAD’ by Juntae, Kim GitHub: http://t.cn/RnKOnur

 

wx:   网页版 2018-03-25 05:19
知识工程 Ana Martin Justin Halberda 神经科学 知识表现
「Science:语言可能并不是推理能力所必需的」来源:神经科技丨公众号 在一项新的针对婴儿的研究中,来自西班牙、匈牙利和波兰的研究人员发现语言可能并不是推理能力(reasoning ability)所必需的。 在发表在2018年3月16日的Science期刊上的一篇标题为“Precursors of logical reasoning in preverbal human infants”的论文中,他们描述了他们的这项研究及其他们的发现,并且针对他们的发现如何可能被用来更好地理解推理能力提供了一些意见。美国约翰霍普金斯大学的Justin Halberda针对这项研究在同期的Science期刊上发表一篇标题为“Logic in babies”的观点类型论文。图片来自N. Cesana-Arlotti et al., Science (2018)。多年来,认知科学家普遍认为语言是推理所必需的—比如,为了理解一个场景,人们可能会在他们的脑海中反复谈论它。但是,正如这些研究人员在这项新的研究中所证实的那样,事实可能并非如此。他们招募了两组志愿者:一组志愿者由12个月大的婴儿组成,另一组志愿者由19个月大的婴儿组成。每个志愿者都观看了视频,其中的一些视频似乎在逻辑上有意义,而另一些视频则没有。这些研究人员观察了这些志愿者的反应。这些视频展示了动画角色—最初有两个角色,比如恐龙和花朵。接着,这些动画角色隐藏在屏幕后面,然后一个杯子舀起其中的一个动画角色。此后,屏幕会下降,露出第二个动画角色。有时它是预期的第二个动画角色,但有时它不是—它可能是第一个动画角色的第二次出现,或者是一个完全不同的动画角色。为了判断这些婴儿是否试图理解他们面前的场景,这些研究人员监测了他们的眼睛关注焦点—感到不解的婴儿倾向于盯更长的时间。这些研究人员报道当露出的不是这些婴儿期望看到的动画角色时,他们确实更长时间地关注第二个动画角色。这些研究人员声称这是证实婴儿具有推理能力的第一个例子。他们指出除了提供表明语言并不是推理能力所必需的证据之外,他们开发的测试方法能够潜在地用于测试婴儿的认知功能障碍。参考资料:Nicoló Cesana-Arlotti, Ana Martín, Ernő Téglás et al. Precursors of logical reasoning in preverbal human infants. Science, 16 Mar 2018, 359(6381):1263-1266, doi:10.1126/science.aao3539 Justin Halberda. Logic in babies. Science, 16 Mar 2018, 359(6381):1214-1215, doi:10.1126/science.aas9183 未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文” via: http://mp.weixin.qq.com/s?__biz=MzIwOTA1MDAyNA==&mid=2649847977&idx=5&sn=5f4b060fa3a5ecbb0790778ae8bbd30e&scene=0#wechat_redirect

 

wx:   网页版 2018-03-24 17:00
深度学习 视觉 算法 应用 资源 自然语言处理 GPU KNN PDF 安全 分类 广告系统 机器翻译 聚类 论文 神经网络 医疗 语言学 预测 智能汽车
「PSU提出深度k-最近邻算法:解决深度学习应用的安全漏洞」高薪招聘兼职AI讲师和AI助教! 深度神经网络(DNN)使诸如图像识别、机器翻译、恶意软件检测这种机器学习的创新应用成为可能。然而,深度学习却经常被批评,因为它在对抗环境中缺乏鲁棒性(比如,对对抗输入的脆弱性)并且整体上无法使它的预测合理化。在此,我们利用了深度学习的结构,使新的基于学习的推断和决策策略有可能具备鲁棒性和可解释性等属性。我们向这个方向迈出了第一步,并介绍了深度k-最近邻(DkNN)。这种混合分类器将k-最近邻算法与DNN每一层所学习的数据表征相结合:根据在表征中它们之间的距离,比较测试输入与相邻的训练点。我们指出了这些相邻点的标签,它们为模型训练集之外的输入提供了置信度估计,包括像对抗样本这样的恶意输入,并且在其中提供了对抗模型理解之外输入的保护。这是因为最近邻可以用来估计不一致性,即,对训练数据中预测的支持的缺失。这些近邻也构成了人类对预测可作出的解释。我们对DkNN算法在多个数据集上进行了评估,并显示了置信度估计准确地识别了模型之外的输入,而且由最近邻提供的解释在理解模型失败时非常直观和有用。 深度学习无所不在:深度神经网络在诸如机器翻译、诊断糖尿病视网膜病变或肺炎这种疾病、恶意软件检测和图像分类等挑战性任务上表现优异。这一成功的部分原因是硬件的发展(如GPU和TPU)和大型数据集的可用性(如ImageNet),但更重要的原因是神经网络的架构设计和随机梯度下降的卓越性能。实际上,深度神经网络被设计用来学习输入域的一个层次集的表征。这些表征将输入数据投射到越来越抽象的空间中—或嵌入—,最终足够抽象到使任务能够被线性决策函数解决(比如,分类)。 深度k-最近邻背后的直观图尽管深度神经网络(DNN)得了突破, 但在安全性和安全关键应用程序中,它们的应用仍然有限。部分是因为它们通常被视为黑盒模型,其性能并不完全被一大套参数理解和控制——现代DNN架构通常用超过一百万的值进行参数化。这是矛盾的,因为深度学习的本质:DNN的设计哲学中一个重要组成部分是学习一个模块化的模型,它的组成部分(神经元层)是简单的、孤立的,但又强大且富有表现力——因为它们的编配是非线性函数构成的。在本文中,我们利用了深度学习的内在模块化,解决了与其安全性直接相关的三个明确的批评:缺乏可靠的置信度估计、模型解释能力和鲁棒性。我们介绍了深度k-最近邻(DkNN)分类算法,该算法根据模型的训练数据,执行DNN对测试输入预测的一致性评估。对于DNN中的每一层,DkNN执行一个最近邻搜索,以找到训练点,该层的输出最接近于在有用测试输入那层的输出。然后我们分析这些相邻训练点的标签,以确保每一层的中间计算与最终模型的预测保持共形。在对抗环境中,这产生了一种与以往研究所不同的防御方法,它解决了恶意输入模型性能低下的根本原因,而不是试图使特定的对抗策略失败。实际上,我们不是通过试图对所有合法的和恶意的输入进行正确分来培养模型的完整性,而是通过创建一种全新的、称为可信度(credibility)的置信度特征来确保模型的完整性,该特征跨越DNN内部的表示层次:任何可信的分类必须得到训练数据的证据支持。相反,缺乏可信度则表明该样本必须是模棱两可的或对抗性的。事实上,机器学习模型的大误差空间揭露了一个大型的攻击面,它被诸如对抗样本这样的威胁向量攻击所利用。 在测试数据中DNN softmax置信度(左)和DkNN可信度(右)的可靠性图表我们的评估表明,当DkNN分类器的预测得到基础训练集的支持时,DkNN分类器的完整性便得以维持。这种支持被评估为预测中,与在模型的每一层所发现的最近邻居的一致性的“置信度”水平,并通过适形预测(conformal prediction)对其进行分析。回到模型的期望属性; (a)置信度可以看作是对测试输入和模型训练点之间距离的估计;(b)可解释性,可以通过在训练集上找到支持预测的点来实现;(c)鲁棒性,当预测的支持在DNN的各个层上达到一致,即预测具有高度的置信度时便可实现。深度k-最近邻算法DkNN背后的直观图如图1所示,下面讨论了这一点,从而引出了对置信度、可解释性和鲁棒性的定义和重要性的探索,以及它们在对抗环境下的机器学习中所起的作用。(a)置信度:最近有来自安全部门和ML社区的呼吁,要求对DNN所做出预测的置信度进行更准确地校准。这在诸如自动驾驶汽车的行人检测或自动诊断医疗状况等任务中至关重要。 DNN所输出的概率通常用作它们置信度的代表。然而,这些概率并不是模型置信度的可靠指标。一个值得注意的反例就是对抗性样本中的一个,尽管模型预测在这些输入上是错误的,但相较于它们的合法对等物,它们往往被分类为拥有更多的“置信度”(根据DNN的输出概率)。此外,当DNN将相等的概率分配给两个候选标签(即对任一输出结果置信度都不高)时,它之所以会这样做至少存在两个不同的原因:(1)DNN在训练过程中没有分析过相似的输入,并正在进行推断,或者(2)输入不明确,可能是因为对抗方企图颠覆系统,或者是采用自然噪声观察过程收集的样本。 调试ResNet模型偏差在DkNN中,标签与测试输入的预测结果不匹配的最近邻训练点的数量定义了输入与训练数据不一致性的估计。数字越大,训练数据对预测的支持越弱。为了对其进行形式化,我们在适形预测框架中进行操作并计算DkNN预测的置信度和可信度。前者量化了给定训练集合的预测正确的可能性,而后者则表征训练集与预测的相关程度。经过研究试验,我们发现当在离训练集较远进行预测时,可信度能够可靠地识别出训练数据缺乏支持。(b)可解释性:该特性是指为模型预测构建解释性,从而使其能够被人类观察者轻松理解的能力,或者以另一种方式合理化基于证据的DNN预测—并回答以下问题:“为什么模型做了这一决策?”DNN的决策是很难进行解释的,因为神经元排列在一个复杂的计算序列中,并且每一层的输出表示都是高维的。这种有限的可解释性抑制了深度学习在诸如医疗保健这样的领域内的应用,在这些领域中,对模型预测的信任是非常关键的。相比之下,DkNN算法可以通过设计从而使其更加具有可解释性,因为最近邻本身提供了可解释性,从而对于单个层和整体DNN预测来说,它们很容易被人类所理解,因为它们位于输入域中。(c)鲁棒性:对机器学习系统而言,针对输入干扰的鲁棒性是安全性的另一项重要要求。虽然DNN对其输入的随机干扰具有鲁棒性,但在测试时,DNN容易受到其输入的微小系统干扰的影响,即对抗样本。此攻击向量使得攻击者可以完全控制DNN的预测,尽管其无法访问模型的训练数据或内部参数。由对抗样本引入的微小干扰可以随意改变DNN的输出,因为它们被模型中每层连续应用的非线性逐渐放大。换言之,当DNN对输入进行错误分类时,它必然会有一层对输入的表示(这一表示最初被定义在正确的分类中)进行转换。相比之下,DkNN分类器通过识别DNN的较低层和较高层之间最近邻训练点标签的变化,并将此作为DNN的错误预测指示器,从而预防这种情况的发生。本质上,DkNN消除了攻击者可利用的试图操纵系统预测的自由度,从而提供了一种对抗样本攻击的鲁棒性形式。请注意,这不是一个简单的综合性方法,它组合了来自多个模型的预测;我们的DkNN算法检查单个DNN的中间计算,以确保其预测与训练数据一致。总之,我们做出了以下贡献:•我们引入了深度k-最近邻(DkNN)算法,该算法测量测试输入与训练数据之间预测的不一致性,将其作为模型预测可信度的间接估计。•我们根据经验验证,相较于自然发生的非分配输入的DNN,DkNN可以做出更可靠的可信度预测。对于几何变换的输入或未包含在训练数据中的类输入,DkNN的可信度低于10%,DNN的可信度为20%-50%。•我们通过一个众所周知的用DNN进行的对种族偏见和公平性进行研究,证明了DkNN的可解释性。•我们证明DkNN能够识别利用现有算法生成的对抗样本,因为他们的可信度很低。我们还发现,针对DkNN的攻击往往需要干扰输入语义以改变DkNN的预测。我们发现这些结果令人鼓舞,同时,我们指出了分析置信度、可解释性及鲁棒性作为DNN相关属性的好处。在此,我们利用了DNN的模块化,并在每个抽象层验证了预测与训练数据的一致性,并在其中确保DNN收敛于一个合理的和可解释的输出。有趣的是, Sabour等人调查了内部表示作为创造恶意输入工具的脆弱性。这表明除了在整个模型的级别上强制执行这些属性之外,重要的是要保护每个抽象性,以防止恶意操作。事实上,我们的探讨表明,这一做法不仅是必要的,而且是为现有对抗算法提供潜在防御的有用工具。我们介绍了深度k-最近邻(DkNN)算法,,该算法在测试时检查深度神经网络(DNN)的内部,以提供置信度、可解释性和鲁棒性等属性。DkNN算法将层表示预测与用于训练的最近邻进行比较。所得到的可信性度量评估表示预测与训练数据的一致性。当训练数据与预测结果一致时,预测结果很可能是准确的。如果预测和训练数据不一致,则预测没有可靠的训练数据支持其是可靠的。这种情况下的输入是不明确的(例如,输入的种类繁多或因预处理不完善导致部分信息缺失),或是被攻击者恶意干扰而产生的对抗性样本。因此,这种跨越DNN内部表示层次结构的置信度特征保证了模型的完整性。这些近邻也使模型预测的可解释性成为可能,因为它们是输入域中用作预测支持的点,并且容易被人类观察者理解和解释。我们的研究结果强调了集成简单推理过程作为复杂学习算法预测的辅助验证的好处。这种验证是为机器学习系统提供安全性的潜在新途径。我们预计,机器学习和安全性的交叉的、未解决的问题将会因此得到改善,包括可用性和完整性。我们期待在不久的将来对这些及其他相关领域展开探索。原文链接:https://arxiv.org/pdf/1803.04765.pdf-马上学习AI挑战百万年薪-点击“阅读原文”,查看详情 via: http://mp.weixin.qq.com/s?__biz=MzA4NzE1NzYyMw==&mid=2247496967&idx=3&sn=ff35ae3bdff4afc7b094f593b3a6067a&scene=0#wechat_redirect

 

爱可可-爱生活   网页版 2018-03-24 06:23
算法 自然语言处理 GPU 机器翻译 神经网络
【用TVM加速TensorFlow(端到端)神经网络机器翻译】《Bringing TVM into TensorFlow for Optimizing Neural Machine Translation on GPU》 http://t.cn/RnKOppc

 

爱可可-爱生活   网页版 2018-03-24 05:14
数据科学 特征工程
【基于GAN的自动特征工程】《Automatic feature engineering using Generative Adversarial Networks》by Hamaad Shah http://t.cn/RnK9gg4 pdf:http://t.cn/RnK9ggU

 

网路冷眼   网页版 2018-03-24 06:00
自然语言处理
【Exploring Word2Vec】http://t.cn/RnKp1q0探索Word2Vec。 ​

 

爱可可-爱生活   网页版 2018-03-24 05:10
深度学习 算法 应用 Monte Carlo Tree 论文 强化学习 信息检索
《Deep Reinforcement Learning with Model Learning and Monte Carlo Tree Search in Minecraft》S Alaniz [Technische Universitat Berlin] (2018) http://t.cn/RnK9H6n view:http://t.cn/RnK9H6m

 

wx:雷锋网   网页版 2018-03-25 05:19
公告板 会议活动 深度学习 视觉 算法 ICLR 会议 论文 神经科学 神经网络 问题
「学界 | DeepMind论文解读:通过删除神经元来了解深度学习」 作者:杨文 深度神经网络由许多单独的神经元组成,它们以复杂且违反人直觉的方式组合起来,以解决各种具有挑战性的任务。这种复杂性一方面赋予神经网络神秘力量,另一方面,也让它们变成了人类难懂的黑匣子。 了解神经网络的深层功能对于解释它们是如何做决定至关重要,并且能帮我们构建更强大的系统。就像,你不了解各个齿轮如何配合工作,你在试图做一个钟表时就很困难。 要想理解神经科学和深度学习中的神经网络,一种方法是弄清单个神经元的作用,尤其是那些易于解释的神经元。 DeepMind 最新的一篇关于神经网络学习的论文《On the Importance of Single Directions for Generalization》(https://arxiv.org/abs/1803.06959)将投稿在第六届 ICLR(国际学习表征会议)。这项研究所采用的方法是受数十年临床神经系统科学的启发,通过探索损伤神经元的影响来确定小规模神经元组对神经网络的重要性。深度神经网络中的那些越容易解释的神经元对神经网络的计算性能越重要吗? 研究人员通过删除单个神经元或神经元组来衡量它是否对网络的性能产生了影响。这项实验有了两个令人惊讶的发现: 1.虽然以前的许多研究集中于易理解,可解释的单个神经元(例如「猫神经元」,或深层网络的隐藏层中的神经元,它们只对猫的图像有反应),但我们发现这些可解释的神经元和那些难以理解,不可描述的神经元对神经网络的影响,并没什么不同。 2.在同样删除神经元的情况下,能正确分类没见过的图像的网络比仅能对看到过的图像进行分类的网络恢复的更快。换句话说,推理性好的网络比那些单纯的记忆网络更不依赖于单一方向。 「猫神经元」可能更易解释,但它们并不重要在神经科学和深度学习中,广泛分析了仅对单一输入类别的图像(例如狗)作出响应的易解释神经元(「选择性」神经元)。这导致了在深度学习中对猫神经元,情绪神经元和括号神经元过度强调它们的重要性; 在神经科学中,对例如詹妮弗安妮斯顿神经元,以及一些类似的神经元的过度强调等等。然而,这些少数高选择性神经元相对于大多数具有低选择性,更令人费解且难以解释的神经元,哪个相对更重要仍然未知。 具有明显响应模式(例如,对猫活跃,对其他所有活动不活跃)的神经元比那些随着图像随机活动或不活动的令人难理解的神经元更容易解释。 为了评估神经元的重要性,研究人员测量了当神经元被删除时,图像分类任务的网络性能是如何变化。 如果一个神经元是非常重要的,删除它应该是具有高度破坏性的并且大大降低网络性能,而删除一个不重要的神经元应该没有什么影响。 神经科学家经常进行类似的实验,尽管它们很难在人造神经网络中获得这些实验所必需的细粒度和精确度。 上图是在一个简单神经网络上删除神经元产生影响的概念图,较深的神经元更活跃。  需要注意的是,删除一个或两个神经元对输出影响很小,而删除大部分神经元会产生很大的影响,并且一些神经元比其他神经元更重要。 令人惊讶的是,研究员发现神经网络的选择和重要性之间几乎没有关系。换句话说,「猫神经元」并不比令人难解的神经元更重要。这一发现与最近在神经科学方面的工作相呼应,已经证明令人难解的神经元实际上可以提供丰富的信息,并且表明今后在探索上必须超越最易于解释的神经元,以便理解深度神经网络。 尽管可解释神经元在直觉上更容易理解(比如,「它喜欢狗」),但它们并没有比那些没有明显偏好的难解释神经元更重要。 推理性好的网络很难打破我们试图构建智能系统,如果系统能够推理出新的场景,我们只能称之为系统智能。例如,一个图像分类网络只能对以前看过的特定狗图像进行分类,而不能对同一只狗的新图像进行分类,这个网络是没有价值的。只有在新样本中依然能智能分类,这些系统才能获得它们的效用。去年,Google Brain、Berkeley 和 DeepMind 合作的论文在 ICLR 2017 上获得最佳论文,表明深层网络可以简单地记住他们接受训练的每个图像,而不是以更像人类的方式在学习(例如,了解抽象的「狗」概念)。 然而,网络是否已经学会了一种能够推理到新的任务场景中的解决方案,这往往是不清楚的。通过逐渐删除越来越大的神经元组,研究员发现,相比于简单记忆在训练期间看到的图像的网络,具有良好泛化能力的网络对删除神经元组后的稳健性要强得多。换句话说,泛化好的网络很难被打破(尽管它们肯定还是会被打破的)。 通过以这种方式衡量网络的稳健性,可以评估一个网络是否在利用简单的记忆来「欺骗」人类。了解网络在记忆过程中是如何变化的将有助于建立新网络,网络记忆越少,推理性就越强。 神经科学启发分析总之,这些发现证明了使用基于临床神经科学启发的技术来理解神经网络的力量是可行的。 使用这些方法,发现高选择性个体神经元并不比非选择性神经元更重要,并且那些广义的网络比单纯记忆训练数据的网络更不依赖于单个神经元。 这些结果意味着单个神经元的重要性可能看起来的那么重要。通过努力解释所有神经元的作用,而不仅仅是那些易于解释的神经元,我们希望更好地理解神经网络的内部工作,最关键的是,利用这种理解来构建更加智能和通用的系统。 未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文” via: http://mp.weixin.qq.com/s?__biz=MzIwOTA1MDAyNA==&mid=2649847977&idx=2&sn=7d8ddd5d059952ee529c672f88267e3a&scene=0#wechat_redirect

 

回复