第1268期机器学习日报(2018-03-09)

更新于 2018年3月10日 机器学习
我来说两句
0 2018年3月10日

2018-03-09 日报 机器学习

机器学习日报 2018-03-09

@好东西传送门 出品,由@AI100运营, 过往目录http://daily.awesomeport.cn/ml

订阅:关注微信公众号 AI100(ID:rgznai100,扫二维码),回复“机器学习日报”,加你进日报群

微信公众号:rgznai100

本期话题有:

全部14 算法8 自然语言处理7 深度学习6 视觉6 应用3 会议活动3 资源2 入门1

用日报搜索找到以前分享的内容: http://ml.memect.com/search/

PaperWeekly   网页版 2018-03-09 18:05
视觉 自然语言处理 行业动态
【中文自然文本数据集】Chinese Text in the Wild 清华大学和腾讯共同推出了一个超大规模的中文自然文本数据集——CTW,该数据集包含32,285张图像和1,018,402个中文字符,规模远超此前的同类数据集。 论文链接:http://t.cn/RE3iscP 数据集链接:http://t.cn/REEwDUq

 

wx:   网页版 2018-03-10 04:18
应用 机器人 神经科学
「CSDN与易观联合发布《2017-2018中国人工智能产业路线图》」来源:机器人大讲堂 下载链接:https://pan.baidu.com/s/1ViNbtAi-wGJbLURyYp30TA 密码:a3dz 未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文” via: http://mp.weixin.qq.com/s?__biz=MzIwOTA1MDAyNA==&mid=2649847640&idx=3&sn=463a3e612a13bde1aeb7ec495a1f9937&scene=0#wechat_redirect

 

wx:关注前沿科技   网页版 2018-03-09 21:48
会议活动 深度学习 视觉 算法 资源 自然语言处理 CVPR 行业动态 会议 活动 数据 语言学 智能汽车
「百度Apollo推出大规模自动驾驶数据集,将于CVPR发起挑战赛」百度Apollo,又搞了三个自动驾驶相关的新闻。 第一个,加入DeepDrive。美国时间西部时间3月8日,百度Apollo自动驾驶开放平台正式宣布加入加州大学伯克利DeepDrive深度学习自动驾驶产业联盟(Berkeley DeepDrive)。DeepDrive是由加州大学伯克利分校领导的研究应用于汽车领域的计算机视觉和机器学习前沿技术的产业联盟。包括了英伟达、高通、通用、福特等20家全球自动驾驶领域最为顶尖的企业,研究项目覆盖感知、规划决策、深度学习等自动驾驶关键领域。百度方面称,Apollo开放平台加入DeepDrive联盟,将与全球自动驾驶领先企业以及顶级学术研究机构携手,通过共享研究成果、交流经验,进一步壮大自动驾驶研发力量。百度副总裁,AI技术平台体系(AIG)总负责人、百度研究院院长王海峰表示:“百度和伯克利的合作,将依托Apollo开放平台的产业化资源和伯克利顶尖的学术团队,加快自动驾驶的技术创新、理论创新、以及落地应用的进程。” 同时,Apollo还献上了数据集大礼:开放ApolloScape大规模自动驾驶数据集。ApolloScape发布的整个数据集包含数十万帧逐像素语义分割标注的高分辨率图像数据,为便于研究人员更好的利用数据集的价值,在数据集中定义了共26个不同语义项的数据实例(例如汽车、自行车、行人、建筑、路灯等),并将进一步涵盖更复杂的环境、天气和交通状况等。百度Apollo如何自我评价这个数据集?规模上,ApolloScape“秒杀”了Cityscapes,比后者同类数据集大10倍以上。丰富性维度上,包括感知、仿真场景、路网数据等数十万帧逐像素语义分割标注的高分辨率图像数据,进一步涵盖更复杂的环境、天气和交通状况等。数据难度方面,ApolloScape数据集涵盖了更复杂的道路状况(例如,单张图像中多达162辆交通工具或80名行人),同时开放数据集采用了逐像素语义分割标注的方式,是目前环境最复杂、标注最精准、数据量最大的自动驾驶数据集。此外,ApolloScape还将进行更多关于仿真的前沿技术研究,目标是打造真实世界还原度最高、场景最丰富的仿真平台;现阶段,基于Apollo仿真平台,ApolloScape计划同时将数十辆自动驾驶车辆投入到同一个路网中行驶,可以模拟真实的复杂驾驶场景和多车博弈过程,是目前最先进的智能驾驶仿真技术之一可以帮助研发人员有效检验并优化预测、决策和路径规划等算法,显著提升自动驾驶的测试多样性。最后,百度Apollo还将在CVPR上发起任务挑战。Apollo将联合加州大学伯克利分校,在CVPR(IEEE国际计算机视觉与模式识别会议)期间联合举办自动驾驶研讨会(Workshop on Autonomous Driving),并将基于ApolloScape的大规模数据集定义了多项任务挑战,为全球自动驾驶开发者和研究人员提供共同探索前沿领域技术突破及应用创新的平台。相关赛程及研讨会信息请关注http://wad.ai/。 — 完 —加入社群量子位AI社群15群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot6入群;此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。进群请加小助手微信号qbitbot6,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)诚挚招聘量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。量子位 QbitAI · 头条号签约作者վ’ᴗ’ ի 追踪AI技术和产品新动态 via: http://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247495291&idx=4&sn=da9b10544fe79b48a216d3ebaa9addcd&scene=0#wechat_redirect

 

爱可可-爱生活   网页版 2018-03-09 09:15
深度学习 算法 Marc Belmont 代码 神经网络
【用全卷积网络去(半透明)水印】’Fully convolutional deep neural network to remove transparent overlays from images’ by Marc Belmont GitHub: http://t.cn/REuGYog

 

爱可可-爱生活   网页版 2018-03-09 09:12
算法 神经网络
《神经网络中,设计loss function有哪些技巧? – 知乎》 http://t.cn/REuGGg9

 

wx:   网页版 2018-03-09 20:32
会议活动 深度学习 算法 应用 自然语言处理 GPU Python Yoshua Bengio 褚晓文 广告系统 行业动态 会议 活动 神经网络 数据科学 文强 信息检索
「ArXiv最受欢迎开源深度学习框架榜单:TensorFlow第一,PyTorch第四」【2018新智元AI技术峰会倒计时 21天】诺贝尔奖唯一计算机领域评委亲临,峰会首批嘉宾阵容公布 早鸟票已经售罄,现正式进入全额票阶段。 即将于北京举办的2018年中国AI开年盛典——2018新智元AI技术峰会上,我们邀请到了德国总理默克尔的科学顾问、诺贝尔奖唯一计算机领域评委、工业4.0教父、世界顶级自然语言处理专家Wolfgang Wahlste教授。Wahlster教授将亲临329峰会现场分享欧洲对人工智能科技发展和AI产业化的思考。想现场一睹诺奖评委的风采,点击文末阅读原文,马上参会! 抢票链接:http://www.huodongxing.com/event/8426451122400   新智元报道  来源:Twitter等作者:文强【新智元导读】Kears作者François Chollet刚刚在Twitter贴出最近三个月在arXiv提到的深度学习框架,TensorFlow不出意外排名第一,Keras排名第二。随后是Caffe、PyTorch和Theano,再次是MXNet、Chainer和CNTK。Keras作者François Chollet刚刚在Twitter贴出一张图片,是近三个月来arXiv上提到的深度学习开源框架排行:TensorFlow排名第一,这个或许并不出意外,Keras排名第二,随后是Caffe、PyTorch和Theano,再次是MXNet、Chainer和CNTK。Chollet在推文中补充,Kears的使用在产业界和整个数据科学圈中最占主流,产业既包括大公司也包括创业公司。不过,在研究社区,Keras的份额要小很多。这个统计结果是使用Google Search Index得到的。这个排名让人想起来之前François Chollet晒的另外一次排名(时间范围是2017年4月到7月,综合Github上issue、fork、contributors等数据得到的活跃度),也是TensorFlow和Keras排名第一和第二。不过,在Github的那次排名,MXNet、PyTorch的名次明显上升。针对近三个月来arXiv的深度学习框架排名结果,有人评论,他很遗憾Theano排名如此靠后,Theano是他的第一个框架。深度学习的图景总是在不断变化,Theano是第一个被广泛采用的深度学习框架,由Yoshua Bengio领导的MILA创建和维护。但2017年9月,MILA宣布将在2018年终止Theano的开发和维护。Theano的离开不禁让人感慨,这也是第一个退出舞台的流行框架。在过去的几年里,出现了不同的开源Python深度学习框架,TensorFlow就属于其中典型,由谷歌开发和支持,自然引发了很大的关注。但需要指出,根据香港香港浸会大学褚晓文教授团队在2017年推出深度学习工具评测的研究报告《 基准评测 TensorFlow、Caffe、CNTK、MXNet、Torch 在三类流行深度神经网络上的表现(论文)》,TensorFlow的性能在有些时候表现并非最佳: 仅用一块GPU,FCN上Caffe、CNTK和Torch比MXNet和TensorFlow表现更好;CNN上MXNet表现出色,尤其是在大型网络时;而Caffe和CNTK在小型CNN上同样表现不俗;对于带LSTM的RNN,CNTK速度最快,比其他工具好上5到10倍。通过将训练数据并行化,这些支持多GPU卡的深度学习工具,都有可观的吞吐量提升,同时收敛速度也提高了。多GPU卡环境下,CNTK平台在FCN和AlexNet上的可扩展性更好,而MXNet和Torch在CNN上相当出色。这一结果,反而凸显出TensorFlow和谷歌强大的号召力,以及已经形成的生态圈的积极拉动影响。在2017年初的这份报告中,褚晓文教授指出,硬件和软件同样重要,仅仅有硬件是不够的,没有好的软件,硬件的效能发挥不出来,这也是为什么今天有这么多深度学习软件,它们的性能有如此大的差异。“Torch是很流行的软件,2002年就有了,那时候还没有深度学习。后来把深度学习做进去了。2014年就是Caffe,微软2015年开源了CNTK,接下来谷歌也开源了他们相应的开发平台。第三行是它的粉丝数量,目前(2017年9月)TensorFlow的粉丝团是最庞大的,有6万多个关注,相对来讲,CNTK、Caffe加起来还没有TensorFlow有影响力。最底下是开发平台的维护情况,随着硬件的提升,新的算法的提出,每个软件都是要不断的更新换代的,TensorFlow的更新是非常频繁的,基本上每一两个月就会有一个新的更新,代表着他们对软件平台的投入。”而Keras,则是谷歌在2017年宣布,将Keras作为TensorFlow的高级API。这意味着Keras被包含在TensorFlow版本中及时更新。除了TensorFlow,Keras也可以使用Theano或者CNTK作为后端。大家可以点击上面的链接仔细看TensorFlow、Caffe、PyTorch、MXNet等框架在各种应用场景下的性能。我们性能更好,但为什么用的人还不是最多?为了解决这个问题,开放神经网络交换(ONNX)格式的发布于2017年9月横空出世。ONNX最初由微软和Facebook联合发布,后来亚马逊也加入进来,并在12月发布了V1版本。ONNX是一个表示深度学习模型的开放格式。它使用户可以更轻松地在不同框架之间转移模型。例如,它允许用户构建一个PyTorch模型,然后使用MXNet运行该模型来进行推理。开放神经网络交换(ONNX)的Github页面ONNX由微软、亚马逊和Facebook等公司共同发起,宣布支持ONNX的公司还有AMD、ARM、华为、 IBM、英特尔、Qualcomm等。谷歌不在这个阵营中并不令人惊讶。ONNX从一开始就支持Caffe2,Microsoft Cognitive Toolkit,MXNet和PyTorch,但与其他开源项目一样,社区也已经为TensorFlow添加了一个转换器。在你争我抢,合纵连横之下,深度学习框架的流行趋势似乎很难预测。不过,中国的开源框架,什么时候才能在这样的排名上显露自己的名字呢? 【2018新智元AI技术峰会倒计时 21天】点击阅读原文查看嘉宾与日程  峰会门票火热抢购,抢票链接:http://www.huodongxing.com/event/8426451122400 【扫一扫或点击阅读原文抢购大会门票】 via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652014643&idx=4&sn=50e1fa6fdfda050dd3b89eb6d2285ea6&scene=0#wechat_redirect

 

PaperWeekly   网页版 2018-03-09 17:57
视觉
【Image Captioning】Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures 本文研究的问题是根据图片生成网民评论,提出了一个大规模服装数据集——NetiLook,其中包含源自11,034位Lookbook用户的355,205张图片和500万条评论。此外,论文还提出了三种衡量多样性的方法。 推荐…全文: http://m.weibo.cn/2678093863/4215720000696531

 

PaperWeekly   网页版 2018-03-09 17:51
视觉 算法 KNN 聚类
【医疗影像分析】Comparative Analysis of Unsupervised Algorithms for Breast MRI Lesion Segmentation 本文研究的问题是乳腺核磁共振图像(2D)的分割,对比了K-Means、标记控制分水岭算法和高斯混合模型三种方法。 推荐人:xaj(PaperWeekly社区用户) 论文链接:http://t.cn/RE3Jbrl

 

PaperWeekly   网页版 2018-03-09 17:48
深度学习 算法 分类
【句子分类】A Hybrid CNN-RNN Alignment Model for Phrase-Aware Sentence Classification 本文有机地将CNN和RNN结合,从语义层面对sentense进行分类,取得良好的效果,文章亮点在于模型的结合使用。 推荐人:yinnxinn(PaperWeekly社区用户) 论文链接:http://t.cn/RE3xRdo

 

爱可可-爱生活   网页版 2018-03-09 08:53
应用 自然语言处理 Bo Shao 代码 机器人
【(TensorFlow)基于NMT模型的聊天机器人】’ChatLearner – A chatbot implemented in TensorFlow based on the seq2seq model, with certain rules integrated.’ by Bo Shao GitHub: http://t.cn/REu42Ma

 

爱可可-爱生活   网页版 2018-03-09 05:17
Kaggle
【Kaggle新赛:FGVC5家具图片细粒度分类】《iMaterialist Challenge (Furniture) at FGVC5 | Kaggle》 http://t.cn/REmFDyE

 

wx:专注AI   网页版 2018-03-10 02:05
入门 深度学习 视觉 算法 资源 自然语言处理 Adam Gibson Adrian Rosebrock GPU Java Josh Patterson Michael Nielsen Python SVM 分类 行业动态 集成学习 决策树 课程 刘畅 迁移学习 神经网络 书籍
「7本最佳深度学习书籍,总有一本适合你」 编译 | 人工智能头条 参与 | 刘畅编辑 | 阿司匹林 深度学习是如今最火热的技术之一,但是对于有心入门却不得其法的同学来说,选择适合自己的书籍至关重要。 本着乐于助人、无私奉献的精神,营长特意为大家精选了 7 本深度学习相关的书籍。这些书籍中,有些非常注重理论知识,主要关注神经网络和深度学习背后的数学和相关假设;有些则注重实战,通过代码而不是理论来讲解深度学习。而那种既有理论讲解,同时又有相应的实战训练的书籍,往往是营长的最爱。 接下来,营长将列出每本书籍的核心内容以及目标受众,帮助大家选择最适合自己的深度学习教材。 1.《深度学习》(Deep Learning) 出自 Goodfellow、Bengio 和 Courville 三位大牛之手的《深度学习》(Deep Learning)不可不提。本书旨在成为一本教科书,用于在大学课堂上教授关于深度学习的基本原理和理论。Goodfellow 等人的《深度学习》完全是理论性的书籍,而且没有代码,因此适用对象为学术界的读者。 这本书首先讨论了机器学习的基础知识,从学术角度讲解了有效研究深度学习所需的应用数学(线性代数,概率和信息论等)知识;在此基础上,本书进一步讲解了深度学习算法和技术的相关知识;在最后一部分,《深度学习》这本书主要讲解了深度学习领域当前的研究趋势以及正在发生的变化。 这本书可以在网站(http://www.deeplearningbook.org/)上免费阅读,也可以在图书网站上面购买纸质版,目前已经有中文版推出。本书适用人群:1. 习惯从理论中学习,而不是实践2. 喜欢学术写作3. 本科生、研究生、教授等学术界的人员 查看本书详情▼▼▼ 2、Neural networks and Deep Learning 第二本以理论为主的深度学习图书是 Michael Nielsen 撰写的《神经网络和深度学习》(Neural networks and Deep Learning)。 本书其实还包含了 7 段由 Python 编写的代码,包括各种基本的机器学习算法,神经网络或深度学习技术,所有都是基于 MNIST 数据集上实现的。虽然这些代码的实现手段可能并不是最好的,但它们可以帮助读者理解书中的一些理论概念。 如果你对机器学习和深度学习不熟悉,但渴望深入了解其理论方法,Nielsen 的书应该是你的首选。这本书比 Goodfellow 的《深度学习》要更容易阅读,而 Nielsen 的写作风格加上一些的代码片段使得知识更容易融会贯通。 3、Deep Learning with Python 谷歌 AI 研究员、Keras 的作者 Francois Chollet 在 2017 年 10 月出版了他自己的书 Deep Learning with Python 。 在该书中,Francois 从一个从业者的角度来讲解深度学习方法。书中包括了一些理论知识和相应的讨论,但是每一段理论都会配合基于 Keras 的实现方式。 这本书我最喜欢的一个地方是 Francois 列举了将深度学习应用于计算机视觉、文本和序列的例子,使这本书为那些希望在了解机器学习和深度学习的同时学习 Keras 的读者,提供了一个不错的选择。 我发现 Francois 的文字清晰易读,他对深度学习趋势和历史的评论非常富有洞察力。需要特别指出的是,这本书并不是一本深入深度学习的书。相反,它的主要用途是通过 Keras 来教会你深度学习基础和不同领域的深度学习实战案例。 4、Hands-On Machine Learning with Scikit-Learn and TensorFlow 当我第一次拿到 Aurélien Géron 的 Hands-On Machine Learning with Scikit-Learn and TensorFlow 这本书时,如果不是标题中包含了“TensorFlow”这个词,我可能仅认为它只是关于机器学习的基本介绍。 幸运的是,这本书其实非常棒,而且是被标题耽误的一本好书。 Géron 的深度学习书籍分为两部分:第一部分介绍支持向量机(SVM),决策树,随机森林,集成方法和无监督学习算法等基本机器学习算法,而且还包括了每个算法的 Scikit-learn 代码示例;第二部分是基于 TensorFlow 库讲解了基本的深度学习内容。 查看本书详情▼▼▼ 5、TensorFlow Deep Learning Cookbook 如果你喜欢“食谱”那样的教学风格(理论少、代码多),我会建议你看看 Gulli 和 Kapoor 撰写的 TensorFlow Deep Learning Cookbook 这本书。 这是一本非常具有实用性的深度学习手册,而且对于 TensorFlow 使用者来说也是一个很好的参考。再次说明,这本书并不是要教深度学习,而是告诉你如何在深度学习的背景下使用 TensorFlow库。 当然,读完这本书,你一定会学习到新的深度学习概念、技术和算法。但是这本书采用了严格的类似于食谱的写作手法:大量的代码和相应的解释。 我认为这本书的唯一不足之处是代码片段中存在一些拼写错误。当你阅读这本书时,请注意这一点。 6、Deep Learning: A Practitioners Approach 虽然大多数包含代码示例的深度学习书籍都使用 Python,但 Adam Gibson 和 Josh Patterson 撰写的 Deep Learning:A Practitioners Approach 一书却使用 Java 和 DL4J 库。 为什么选择 Java? Java 是大型企业中最常用的编程语言,特别是在企业级的应用上。 Gibson 和 Patterson 在前几章讨论了基本的机器学习和深度学习基础知识,剩下的部分包括了使用 DL4J 库,基于 Java 的深度学习代码示例。 7、Deep Learning for Computer Vision with Python 这本书已经成为当今最好的深度学习和计算机视觉资源之一。谷歌AI的研究员、Keras 的作者 Francois Chollet 对这本新书是这样评价的: “这本书在计算机视觉深度学习实践方面讲解得非常深入,而且读起来也通俗易懂:讲解不仅清晰而且非常详细。你会发现许多实用的技巧和建议,这些在其他书籍或大学课程中都很少提到。无论你是从业人员还是初学者,我强烈推荐这本书。—— Francois Chollet” 这本书里面有很多的细节讲解,并有大量的详细例子,涵盖了各种方法与如何在实际问题使用这些方法来解决问题。 如果你有兴趣学习深度学习在计算机视觉上的应用(图像分类、物体检测、图像理解等),那么这本书将非常适合你。 在这本书里面,你会: 理论和实践相结合的方式来学习机器学习和深度学习的基础;学习先进的深度学习技术,包括对象检测,多GPU训练,迁移学习和生成对抗网络(GAN)等;复现 ResNet、SqueezeNet、VGGNet 等在 ImageNet 数据集上的结果; 此外,对于每个理论深度学习概念,你都可以在这本书中找到相关的 Python实 现来帮助您巩固知识。 作者 | Adrian Rosebrock原文链接https://www.pyimagesearch.com/2018/03/05/7-best-deep-learning-books-reading-right-now/ 扫描二维码,关注「人工智能头条」回复“技术路线图”获取 AI 技术人才成长路线图 via: http://mp.weixin.qq.com/s?__biz=MzAwNDI4ODcxNA==&mid=2652246564&idx=2&sn=80c8caa1954f9b347b4ee630b0c1a61d&scene=0#wechat_redirect

 

wx:聚焦AI的   网页版 2018-03-10 01:46
深度学习 视觉 算法 自然语言处理 Alexander Mordvintsev Chris Olah Ian Johnson Katherine Ye Python Shan Carter 分类 行业动态 可视化 神经网络 语言学
「用可组合的构建块丰富用户界面?谷歌提出「可解释性」的最新诠释」本文转自雷克世界(ID:raicworld)编译 | 嗯~阿童木呀随着在神经网络领域不断取得新的发展成果,有一个相对应的需求也亟待解决,即能够对其决策进行解释,包括建立它们在现实世界中行为方式的置信度、检测模型偏差以及科学好奇心。为了做到这一点,我们需要构建深度抽象,并在丰富的界面中对它们进行修饰(或实例化)。可以说,除了极少数例外,现有的研究在关于可解释性这一点上并没有多少建树。机器学习社区主要致力于开发功能强大的方法,如特征可视化、归因和降维,用于对神经网络进行解释和理解。然而,这些技术被当作孤立的研究线索进行研究,并且有关对它们进行修饰的研究也被忽略了。 另一方面,人机交社区已经开始探索神经网络丰富的用户界面,但他们还没有对这些抽象概念进行更深入的研究。就这些抽象概念的使用程度而言,它已经是以相当标准的方式进行的了。结果,我们留下了很多并不实用的界面(例如显著图(saliency maps)或相关的抽象神经元),而将以一些有价值的东西遗弃了。更糟糕的是,许多可解释性技术还没有完全应用到抽象中,因为没有这样一种压力存在从而使它们成为可推广的或可组合的。在本文中,我们将现有的可解释性方法视为丰富用户界面的基础和可组合性构建块。 我们发现,这些不同的技术现在汇聚在一个统一的语法中,在最终的界面中实现互补角色。而且,这个语法使得我们能够系统性地对可解释性界面空间进行探索,使我们能够评估它们是否与特定的目标相符合。我们将展示一些界面,它们显示了网络所检测到的信息,并解释了网络是如何对其理解进行开发的,同时保持人类规模的大量信息。例如,我们将看到一个注视着拉布拉多猎犬的网络是如何检测到它松软的耳朵,以及它是如何影响其分类的。在本文中,我们使用图像分类模型—GoogLeNet对我们的界面概念进行演示,因为它的神经元在语义上看起来异乎寻常。虽然在本文中我们已经对任务和网络进行了特定的选择,但我们提出的基本抽象和对它们进行组合的模式仍然可以应用于其他领域的神经网络。▌理解隐藏层近期关于可解释性的大部分研究都涉及神经网络的输入和输出层。可以说,之所以会出现这样的结果主要是由于这些层具有明确的含义:在计算机视觉中,输入层代表输入图像中每个像素的红色、绿色和蓝色信道的值,而输出层由类标签和他们相关的概率组成。然而,神经网络的强大之处在于它们的隐藏层,在每一层,网络都会发现新的输入表示。在计算机视觉中,我们使用神经网络在图像中的每个位置运行相同的特征检测器。我们可以将每一层的已学习表示看作一个三维立方体。立方体中的每个单位都是一个激活,或者神经元的数量。x轴和y轴对应图像中的位置,z轴是正在运行的信道(或检测器)。 计算机视觉中神经网络每个隐藏层上所开发的的激活立方体,立方体的不同切片使得我们能够瞄准单个神经元、空间位置或信道的激活。理解这些激活是很困难的,因为我们通常把它们当作抽象向量进行处理。然而,通过特征可视化,我们可以将这个抽象向量转换成更有意义的“语义词典”(semantic dictionary)。为了制作一个语义词典,我们将每个神经元激活与该神经元的可视化进行配对,并根据激活的大小对它们进行排序。激活与特征可视化的结合改变了我们与基础数学对象之间的关系。激活现在映射到图标的表示中,而不是抽象的索引中,其中很多表现形式类似于人类的创意,如“松软的耳朵”、“狗鼻子”或“皮毛”。语义词典的强大之处不仅仅是在于它们摆脱了无意义的索引,还因为它们用典型的样本表达了神经网络的已学习抽象。通过图像分类,神经网络学习了一组视觉抽象,因此图像是用于表示它们的最为自然的符号。如果我们使用音频,那么更为自然的符号很可能是音频剪辑。这一点很重要,因为当神经元看起来符合人类的想法时,很容易将它们缩减为单词。 但是,这样做是一项有损耗的操作,即使对于相似的抽象来说,网络也可能学到了更深层次的细微差别。例如,GoogLeNet中具有多个松软耳朵检测器,它们可以检测到耳朵的下垂度、长度和周围环境的细微差别。也有可能存在视觉上相似的抽象,但我们对其缺乏良好的自然语言描述:例如,在阳光打到水面时,拍摄特定的闪光灯柱。 此外,网络可能会学习到对我们来说异乎寻常的新抽象概念,其中,自然语言会使我们完全失败!一般来说,相较于人类的语言来说,典型的样本是用来对神经网络所学习的外来抽象进行表示的一种更为自然的方式。通过为隐藏层赋予意义,语义词典为我们现有的可解释性技术奠定了基础,使其成为可组合的构建块。就像它们的基础向量一样,我们可以对它们进行降维。在其他情况下,语义词典使得我们进一步推进这些技术的发展。例如,除了我们目前使用输入和输出层执行的单向归因(one-way attribution)外,语义词典还使得我们能够对特定的隐藏层进行属性转换。原则上,这项研究可以在没有语义词典的情况下完成,但是结果意味着什么还不清楚。▌网络看到了什么?用于检测松软的耳朵、狗鼻子、猫头、毛茸茸的腿和草的检测器。尽管有草地检测器,但效果不是很好。语义词典为我们提供了一个关于激活的细粒度观察:每个单个神经元能够检测到什么?在这种表示的基础上,我们也可以将激活向量作为一个整体进行考虑。我们可以对给定空间位置处发射的神经元组合进行可视化,而不是对单个神经元进行可视化。(具体来说,我们对图像进行优化,以最大化激活点与原始激活向量的点积。)将这种技术应用于所有的激活向量,使我们不仅可以看到网络在每个位置所检测到的内容,而且还可以了解网络对整个输入图像的理解程度。而且,通过跨越层进行研究(例如“mixed3a”、“mixed4d”),我们可以观察网络的理解是如何演变的:从检测早期层中的边缘,到后者中更复杂的形状和对象部分。MIXED3A MIXED4A MIXED4D 然而,这些可视化忽略了一个关键信息:激活的大小。通过按照激活向量的大小对每个单位的面积进行缩放,我们可以指出网络在该位置所检测到的特征强度:  MIXED3A MIXED4AMIXED4D MIXED5A ▌如何组装概念?特征可视化有助于我们回答网络所检测到的内容是什么,但它并不能回答网络是如何对这些单独的片段进行组合以做出最后的决策,或者为什么做出这些决策。归因(Attribution)是一组通过解释神经元之间的关系来回答这些问题的技术。有很多种归因方法,但到目前为止,似乎没有一个明确的正确答案。事实上,我们有理由认为我们目前的所有答案都不是完全正确的。我们认为有很多关于归因方法的重要研究,但就本文而言,关于归因的精确方法并不重要。我们使用一种相当简单的方法,关系的线性近似(linearly approximating the relationship),可以很容易地用任何其他技术替代。未来对归因的技术改进,理所当然地会对基于它们所构建的界面进行相应改善。具有显著图的空间归因最常见的归因界面称为显著图(saliency map,一种简单的热图,对引起输出分类的输入图像的像素进行突出显示。我们发现目前这种方法存在两个缺陷。首先,不清楚单一像素是否是归因的基本单位。每个像素的含义与其他像素纠缠在一起,对于简单的可视转换(例如,亮度、对比度等)不具有鲁棒性,并且与输出类等高级概念有很大的距离。其次,传统的显著图是一种非常有限的界面类型,它们一次只显示一个类的归因,并且不允许你对单个点进行更深入地探究。由于它们没有明确处理隐藏层,因此很难全面探索其设计空间。信道归因(channel attribution)通过将归因应用于隐藏层的空间位置,显著图对我们的激活立方体进行彻底切割。。切割立方体的另一种方法是通过信道而不是空间位置。这样做可以让我们执行信道归因:每个检测器对最终输出的贡献有多大?(这种方法类似于Kim等人所做的同时期研究工作,他们将归因与已学习的信道组合结合在一起)。可解释性界面的空间本文所介绍的界面思想将诸如特征可视化和归因等构建块结合在一起。将这些片段结合在一起不是一个任意的过程,而是遵循基于界面目标的结构。例如,如果界面强调网络所能识别的内容,则优先考虑它的理解如何进行发展的,或者专注于如何让事情按照人类规模进行发展。为了评估这些目标,并理解这种权衡,我们需要能够对可能的替代方案进行系统地考虑。我们可以将界面视为各个元素的联合。▌这些界面的可信度如何?为了可解释性界面更加具有有效性,我们必须相信它们所告诉我们的故事。我们认为目前所使用的一系列构建模块存在两个问题。首先,在不同的输入图像中,神经元是否具有相对一致的含义,并且是否通过特征可视化进行准确地表示了呢?语义词典以及建立在它们之上的界面,都是以这个问题的真实性为前提的。其次,归因是否有意义,我们是否能够相信目前拥有的任何归因方法?模型行为是非常复杂的,我们目前的构建模块只能使我们展示它的特定方面。未来可解释性研究的一个重要方向是开发能更广泛地覆盖模型行为的技术。但是,即使有了这些改进,我们也认为可靠性的关键标志将是不会误导的界面。与展示的显示信息交互不应导致用户隐含地绘制关于模型的不正确评估。毫无疑问,我们在这篇文章中所介绍的界面在这方面仍然有很大的改进空间。在机器学习和人机交互的交叉研究中,解决这些问题是很有必要的。▌总结存在着一个丰富的设计空间用于与枚举算法进行交互,而且我们相信与神经网络进行交互的空间也同样丰富。我们还有很多研究工作要做,以建立强大和值得信赖的可解释性界面。如果我们取得了成功,可解释性将成为一个强有力的工具,使我们能够实现有意义的人类监督,并建立公平、安全和一致的人工智能系统。 注:本文仅翻译了原文的一部分内容,完整内容请参看原文原文来源:distill作者:Chris Olah、Arvind Satyanarayan、Ian Johnson、Shan Carter、Ludwig Schubert、Katherine Ye、Alexander Mordvintsev原文链接:https://distill.pub/2018/building-blocks/ 2018年3月30-31日,第二届中国区块链技术暨应用大会将于北京喜来登长城饭店盛大开场,50+区块链技术领导人物,100+区块链投资商业大咖,100+技术&财经媒体,1000+区块链技术爱好者,强强联合,共同探讨最in区块链技术,豪华干货礼包享不停。八折门票火热抢购中!2018,未来已来,带你玩转区块链。 AI科技大本营用户群(计算机视觉、机器学习、深度学习、NLP、Python、AI硬件、AI+金融方向)正在招募中,后台回复:读者群,联系营长,添加营长请备注姓名,研究方向。 via: http://mp.weixin.qq.com/s?__biz=MzI0ODcxODk5OA==&mid=2247493762&idx=3&sn=68e40cf4d035f1de1235b977b89022ce&scene=0#wechat_redirect

 

爱可可-爱生活   网页版 2018-03-08 20:33
会议活动 自然语言处理 Joseph Dureau NIPS Python 代码 会议
【Python自然语言理解包:句子解析/结构信息抽取】’Snips NLU – Snips Python library to extract meaning from text’ by Snips GitHub: http://t.cn/REng7ST doc:http://t.cn/REng7SH

爱可可-爱生活 网页版 转发于2018-03-09 20:59
《Snips NLU is an Open Source, Private by Design alternative to Dialogflow, Amazon Lex, and other NLU cloud services》by Joseph Dureau http://t.cn/RE3mSmn

 

回复