第1110期AI100_机器学习日报(2017-10-02)

更新于 2017年10月3日 机器学习
我来说两句
0 2017年10月3日

2017-10-02 日报 机器学习

AI100_机器学习日报 2017-10-02

@好东西传送门 出品,由@AI100运营, 过往目录http://ai100.com.cn

订阅:关注微信公众号 AI100(ID:rgznai100,扫二维码),回复“机器学习日报”,加你进日报群

微信公众号:rgznai100

本期话题有:

全部15 深度学习9 资源9 算法8 视觉5 入门4 应用4 自然语言处理3 语音3 会议活动2

用日报搜索找到以前分享的内容: http://ml.memect.com/search/

蚁工厂   网页版 2017-10-02 10:37
入门 资源 自然语言处理 代码 课程 统计
#开源项目推荐# 自然语言处理NLP相关的大学公开课收集。包括数学基础、自然语言处理、机器学习、统计学等多门课程。 http://t.cn/RxP7uOH

 

wx:   网页版 2017-10-03 06:31
深度学习 视觉 算法 语音 Andrew Ng GPU Jeff Dean 行业动态 神经网络
「AI芯片产业生态梳理」Inference环节指利用训练好的模型,使用新的数据去“推理”出各种结论,如视频监控设备通过后台的深度神经网络模型,判断一张抓拍到的人脸是否属于黑名单。虽然Inference的计算量相比Training少很多,但仍然涉及大量的矩阵运算。在推理环节,GPU、FPGA和ASIC都有很多应用价值。从应用场景来看,可以分成“Cloud/DataCenter(云端)”和“Device/Embedded(设备端)”两大类。在深度学习的Training阶段,由于对数据量及运算量需求巨大,单一处理器几乎不可能独立完成一个模型的训练过程,因此,Training环节目前只能在云端实现,在设备端做Training目前还不是很明确的需求。在Inference阶段,由于目前训练出来的深度神经网络模型大多仍非常复杂,其推理过程仍然是计算密集型和存储密集型的,若部署到资源有限的终端用户设备上难度很大,因此,云端推理目前在人工智能应用中需求更为明显。GPU、FPGA、ASIC(Google TPU1.0/2.0)等都已应用于云端Inference环境。在设备端Inference领域,由于智能终端数量庞大且需求差异较大,如ADAS、VR等设备对实时性要求很高,推理过程不能交由云端完成,要求终端设备本身需要具备足够的推理计算能力,因此一些低功耗、低延迟、低成本的专用芯片也会有很大的市场需求。按照上述两种分类,我们得出AI芯片分类象限如下图所示。除了按照功能场景划分外,AI芯片从技术架构发展来看,大致也可以分为四个类型: 1、通用类芯片,代表如GPU、FPGA;2、基于FPGA的半定制化芯片,代表如深鉴科技DPU、百度XPU等;3、全定制化ASIC芯片,代表如TPU、寒武纪 Cambricon-1A等;4、类脑计算芯片,代表如IBM TrueNorth、westwell、高通Zeroth等。 (一)Training训练2007年以前,人工智能研究受限于当时算法、数据等因素,对于芯片并没有特别强烈的需求,通用的CPU芯片即可提供足够的计算能力。Andrew Ng和Jeff Dean打造的Google Brain项目,使用包含16000个CPU核的并行计算平台,训练超过10亿个神经元的深度神经网络。但CPU的串行结构并不适用于深度学习所需的海量数据运算需求,用CPU做深度学习训练效率很低,在早期使用深度学习算法进行语音识别的模型中,拥有429个神经元的输入层,整个网络拥有156M个参数,训练时间超过75天。与CPU少量的逻辑运算单元相比,GPU整个就是一个庞大的计算矩阵,GPU具有数以千计的计算核心、可实现10-100倍应用吞吐量,而且它还支持对深度学习至关重要的并行计算能力,可以比传统处理器更加快速,大大加快了训练过程。 转自:人工智能学家 完整内容请点击“阅读原文” via: http://mp.weixin.qq.com/s?__biz=MzA4NDEyMzc2Mw==&mid=2649678184&idx=4&sn=69ccfa5590064db348eab040b6cea3a9&scene=0#wechat_redirect

 

wx:晓凡   网页版 2017-10-03 04:55
入门 深度学习 算法 应用 语音 资源 自然语言处理 HMM 崔立明 行业动态 决策树 课程 刘斌 迁移学习 神经网络 推荐系统
「干货 | 极限元算法专家:深度学习在语音生成问题上的典型应用 | 分享总结」AI 科技评论按:深度学习在2006年崭露头角后,近几年取得了快速发展,在学术界和工业界均呈现出指数级增长的趋势;伴随着这项技术的不断成熟,深度学习在智能语音领域率先发力,取得了一系列成功的应用。这次分享会中,雷锋网邀请到了中科院自动化所的刘斌博士。刘斌,中科院自动化所博士,极限元资深智能语音算法专家,中科院-极限元智能交互联合实验室核心技术人员,曾多次在国际顶级会议上发表论文,获得多项关于语音及音频领域的专利,具有丰富的工程经验。刘斌博士会与大家分享近年来深度学习在语音生成问题中的新方法,围绕语音合成和语音增强两个典型问题展开介绍。AI 科技评论把此次演讲的概要整理如下。想要进一步了解的读者,可以在文末观看视频,还可以根据刘斌博士的指导查找相关资料增加了解。 刘斌:大家好。深度学习近几年发展非常火热,在学术界和工业界都有许多成果和应用。深度学习在语音领域也已经落地解决了许多问题,语音合成、语音增强、语音转换、语音带宽扩展等等。今天重点讲解语音合成和语音增强两个问题下的方法。语音合成的任务目标是从文本输入到声学特征的转换。在生成语音之前,文本首先需要进行分析预处理,其中正则化针对数字和特殊符号,音字转换针对多音字,韵律处理让生成的语音抑扬顿挫、有节奏感,然后再进行后端的生成。声学处理常用的方法有统计参数建模和声码器的方法。这是传统基于隐马尔可夫框架(HMM)的统计参数语音合成系统,在训练过程中建立文本参数到音频参数之间的映射关系。其中有三个环节会导致语音音质下降:决策树聚类、声码器重新生成语音、以及动态参数生成算法。针对这三个问题点,就有人提出用深度学习的方法进行改进。深度学习的方法里,用神经网络代替决策树的作用,建立文本特征和声学特征之间的关系,就提高了模型的精度。对于具体的模型结构,LSTM比DBN具有更强的序列学习能力,所以使用LSTM时经常可以跳过参数生成算法,直接预测语音参数,然后送到声码器中就可以生成语音了。深度神经网络强大的非线性建模能力也能在一定程度上提升语音合成系统的性能。最近一两年在工业界也有一些新的语音合成方法,比如基于WavNet的语音合成。这是一种从时域(声波在不同时间的采样值大小)的角度出发处理语音问题的方法,问题本身很有挑战性;传统方法都是从频域(声波在不同时间的频率高低)出发的。谷歌提出的WavNet可以直接把文本参数和声波的采样值建立对应关系。它的主要问题是,每次只能输出单个采样点的值,导致计算速度慢、生成效率低。百度也提出了基于 DeepVoice 的语音生成系统,用深度神经网络实现了其中多个模块,然后以类似WavNet的模块生成语音。它的计算速度相比 WavNet 提升了约400倍。随后百度进一步拓展为了DeepVoice2,可以支持多说话人的语音合成,每个人也最少也只需要半个小时数据就可以达到比较理想的效果。Tacotron是谷歌推出的比较新颖的语音合成系统,它的特点是使用了编码器-解码器的网络结构,好处在于输入和输出序列的长度可以不需要保持一致;并且引入了注意力机制,可以提升性能。结构里还包含一个后处理网络。网络的输出是一个频谱图,用相位重构算法就可以转换为语音。这种方法里绕开了声码器模块,可以提升语音的质量目前语音合成方面还有一些问题没有解决,一,多数方法还是面向单个说话人的。对于多个说话人、多语言的语音合成效果仍然不太理想。迁移学习相关的方法有可能会对这类问题的解决做出贡献。二,目前的语音系统生成的声音的表现力还有所不足,尤其是合成口语的时候,效果会有下降。语音增强是语音识别、声纹识别等算法中重要的前端处理模块。它的优劣在一定程度上影响着后续识别方法的鲁棒性。根据麦克风的数目不同,语音增强可以分为单通道语音增强和多通道语音增强。多通道语音增强可以更有效低利用声音的空间信息,增强目标方向的声音信息,抑制分目标方向的干扰源;这类方法今天先不作具体介绍,感兴趣的可以参见麦克风阵列技术的相关资料。图中展示了四种主要的干扰源,真实状况下可能是同时存在的,这就给语音增强带来了很大难度。以下介绍一些单通道语音环境下的语音增强方法。单通道语音增强的方法主要分为三大类。基于深度学习的语音增强方法下面会做详细一些的介绍。这里也是利用了深度学习强大的非线性建模的能力,在匹配的环境下优势很明显,在处理非平稳噪声的时候也有一定的优势。这是一种通过深层神经网络直接预测谱参数的方法,它的输入是带噪语音的幅值谱相关特征,输出是干净语音的幅值谱相关特征,然后建立了两者间的映射关系。网络结构可以是DNN,可以是LSTM,甚至可以是CNN。这类方法可以更有效地捕捉到上下文的信息,所以处理非平稳噪声时有一定优势。深层神经网络还可以用来预测屏蔽值。这类方法中,模型的输入可以是听觉域相关特征,输出可以是二值型的屏蔽值或者浮点型的屏蔽值。这类方法根据听觉感知的特性把音频分为了不同的子带,提取特征参数。它的实际作用是判断时频单元内的内容是语音还是噪声,然后根据判断结果保留时频单元内的能量或者置零。这类方法的优势是,共振峰处的能量可以得到很好的保留,而相邻共振峰之间、波谷处的语音虽然会失真较多,但是人类对这些信息不敏感,所以仍然有相对较高的可懂度。以往的方法主要关注于声音的幅值谱,没有利用到相位谱中的信息。复数神经网络中的复数谱就是一种同时利用幅值谱和相位谱的方法。现在还有利用生成式对抗网络GANs的语音增强方法。GANs是这两年的热点范式,目前在语音领域中的应用还不多,不过今年也已经有人提出运用在语音增强中。这篇论文中的方法中,不再需要RNN结构网络中的递归操作,可以直接处理原始音频,是端到端的方法,不需要手工提取特征,也不需要对原始数据做明显的假设。生成器结构采用了CNN,而且没有全连接层,这样可以减少模型参数数量、缩短训练时间;端到端直接处理原始语音信号的方法也避免了变换、提取声音特征等复杂过程。鉴别器仍然起到引导生成器更新的作用。除了刚才说到的一些主要针对环境噪声抑制的方法之外,PIT方法则可以处理两个或更多说话人声音混叠时的分离问题。还有一种基于深层聚类的分离方法。不过为了在真实环境下可用,去噪音、去混响等问题也需要考虑,分离问题仍然有很大的困难。语音增强领域目前仍待解决的问题是,如何在消除噪声的同时有效提高语音的可懂度、听感(避免消除语音本身的特征),以及,语音增强方法作为后续语音识别和声纹识别方法的预处理模块,需要前后合理对接,而不应完全分别设计,这样才能提高整个系统的鲁棒性。最后,对于未来发展的展望,语音生成领域许多问题虽然建模方法不同,但是也有许多值得互相借鉴的部分,可以促进相互提高。深度学习虽然是火热的方法,但是也不能指望深度学习解决所有的问题。并且,要先对处理对象的物理含义有深入的理解,在这个基础上寻找合适的模型、对模型进行优化,才能得到较好的问题解决效果。此次分享的视频回放可以戳这里。 学术分享活动系列的总结文和视频会陆续放出,欢迎继续关注!想直接参与直播互动的读者可以在AI科技评论公众号下方菜单中选择 “AI课程 – 公开课报名”。—————  给爱学习的你的福利  —————3个月,从无人问津到年薪30万的秘密究竟是什么?答案在这里——崔立明授课【推荐系统算法工程师-从入门到就业】3个月算法水平得到快速提升,让你的职业生涯更有竞争力!长按识别下方二维码(或阅读原文戳开链接)抵达课程详细介绍~———————————————————— via: http://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247487520&idx=3&sn=137f15c9a8ace566fd21a040394bf2a6&scene=0#wechat_redirect

 

wx:   网页版 2017-10-02 20:24
公告板 会议活动 深度学习 视觉 算法 语音 资源 Van Den Oord 分类 行业动态 会议 活动 神经网络 书籍 数据 统计 熊笑
「【荐读】VAE和Adam发明人博士论文:变分推理和深度学习(下载)」2017 年 11 月 8 日,在北京国家会议中心举办的 AI WORLD 2017 世界人工智能大会开放售票!早鸟票 5 折 抢票倒计时 6 天开抢。还记得去年一票难求的AI WORLD 2016盛况吗?今年,我们邀请了冷扑大师”之父 Tuomas 亲临现场,且谷歌、微软、亚马逊、BAT、讯飞、京东和华为等企业重量级嘉宾均已确认出席。AI WORLD 2017 世界人工智能大会“AI 奥斯卡”AI Top 10 年度人物、 AI Top10 巨星企业、AI Top10 新星企业、AI Top 10 创投机构、AI 创新产品五个奖项全部开放投票。谁能问鼎?你来决定。关于大会,请关注新智元微信公众号或访问活动行页面:http://www.huodongxing.com/event/2405852054900?td=4231978320026了解更多1新智元编译   作者:Diederik P. Kingma编译:佩琦,Neko,熊笑【新智元导读】VAE(变分自编码器) 和 ADAM 优化算法是深度学习使用率极高的方法。二者的发明者之一、OpenAI 的研究科学家 Durk Kingma 日前公布了自己的博士论文《变分推理和深度学习:一种新的综合方法》,新智元第一时间为您介绍。 论文下载:https://pan.baidu.com/s/1eSPDGv4 近年,随着有监督学习的低枝果实被采摘的所剩无几,无监督学习成为了研究热点。VAE(Variational Auto-Encoder,变分自编码器)和 GAN(Generative Adversarial Networks) 等模型,受到越来越多的关注。 大多数生成模型有一个基础的设置,只是在细节上有所不同。GAN 和 VAE 都是生成模型的常用方法:Generative Adversarial Network(GAN)将训练过程作为两个不同网络的对抗:一个生成器网络和一个判别器网络,判别器网络试图区分样来自于真实分布 p(x) 和模型分布 p^(x) 的样本。每当判别器发现两个分布之间有差异时,生成器网络便微整参数,使判别器不能从中找到差异。Variational Autoencoders(VAE)让我们可以在概率图模型框架下形式化这个问题,我们会最大化数据的对数似然(log likelihood)的下界。 OpenAI 的研究科学家 Durk Kingma 正是 VAE 的发明者之一,他同时也是业界使用率极高的优化算法 ADAM 的发明者之一。另外,他颜值也很高。 就在上月底,他公开了他的博士论文《变分推理和深度学习:一种新的综合方法》。让我们为您介绍其博士论文的内容。 在论文《变分推理与深度学习:一种新的综合方法》,我们针对变分(贝叶斯)推理、生成建模、表示学习、半监督学习和随机优化等问题,提出了新的解决方法。 我们提出一种高效的变分推理算法 [Kingma and Welling, 2013] (chapter 2),适用于大模型求解高维推理问题。该方法使用模型关于潜在变量和/或参数的一阶梯度;使用反向传播算法可以有效计算这种梯度。这使得该方法特别适合于使用深度神经网络进行推理和学习。  VAE在可观测的x空间(其实证分布qD(x)通常较复杂)和潜在的z空间(其分布相对简单,如图中所示球形)之间学习到的随机映射。 我们提出变分自编码器(VAE)[Kingma and Welling, 2013] (chapter 2)。VAE框架将一个基于神经网络的推理模型和一个基于神经网络的生成模型结合起来,并提供一种简单的方法来联合优化两个网络,以限制给定数据的参数的对数相似度。双重随机梯度下降过程允许多占到非常大的数据集。我们展示了使用变分自编码器进行生成建模(generative modeling)和表示学习(representation learning)。 一副关于变分自编码计算流程的简单示意图 我们展示了如何使用VAE框架来解决半监督学习问题[Kingma et al., 2014](chapter 3),截至本论文发表时,我们在标准半监督图像分类基准上得到了state-of-the-art的结果。 我们提出逆自回归流(inverse autoregressive flows)[Kingma et al., 2016] (chapter 5),这是基于normalizing flows的一类灵活的后验分布,允许在高维隐藏空间上推断高度非高斯后验分布。我们演示了如何使用该方法来学习VAE,其对数似然性能与自回归模型相当,同时允许更快速的合成。再参数化说明 我们提出局部再参数化(local reparameterization)方法(chapter 6),以进一步提高高斯后验模型参数的变分推理效率[Kingma et al., 2015]。这种方法提供了一种额外的(贝叶斯)dropout 视图,即一种流行的正则化方法; 使用这种联系,我们提出 variational dropout,这使我们能够学习dropout率。 我们提出 Adam [Kingma and Ba, 2015) (chapter 7),这是一种基于自适应时刻的随机梯度优化方法。 Kingma 在论文的开头,提出了一些研究问题,并围绕这些问题组织了全文的结构: 研究问题1:在有大数据集的情况下,我们如何在深度潜在变量模型(deep latent-variable)中执行有效的近似后验和最大似然估计? 在第 2 章和[Kingma and Welling, 2013]中,我们提出了一种基于重构参数的变分推理的有效算法,适用于解决大型模型的高维推理问题。 该方法使用模型w.r.t.的一阶梯度。 潜在变量和/或参数; 这种梯度使用反向传播算法进行计算是有效的。这使得该方法非常适用于深度潜在变量模型中的推理和学习。 变分自动编码器(VAE)框架将基于神经网络的推理模型与基于神经网络的生成模型相结合,提供了一种简单的两种网络联合优化方法,即对参数对数似然度的约束给出数据。 这种双随机梯度下降过程允许扩展到非常大的数据集。 我们展示了使用变分自动编码器进行生成建模和表征学习。 研究问题2:我们能使用VAE模型来改进最先进的半监督分类结果吗? 在第 3 章和[Kingma et al., 2014]中,我们展示了如何使用VAE来解决半监督学习的问题,出版时,获得了标准半监督图像分类基准的最先进成果。 规范化流动框架[Rezende 和 Mohamed,2015]提供了一个有吸引力的方法来参数化VAE框架中的灵活近似分布,但不能很好地扩展到高维潜在空间。 这导致我们遇到以下问题: 研究问题3:是否存在一个实用的规范化流动框架,能够很好地拓展到高维潜在空间? 在第5章和[Kingma etal.,2016]中,我们提出了逆自回归流,一种基于规范化流动的灵活后验分布,从而在高维潜在空间中提供高度非高斯后验分布的推论。我们演示了该方法如何用于学习VAE,其对数似然性能与自动注册模型相当,同时允许高数量级的合成。 如第2章所述,基于参数化的推理方法可用于推断神经网络参数的近似后验分布。然而,其实施是相对低效的。 研究问题4:我们能在不牺牲平行度的情况下,通过构建梯度估计器来改进基于再参数化的梯度估计器(该方差的变化与小尺寸成反比)吗? 在第6章和[Kingma etal., 2015年]中,我们提出了一个局部再参数化技巧来进一步提高高斯后验模型参数的变分推理效率,这导致了一个梯度估计器,其方差收缩与小型化成比例尺寸。这种方法还提供了一种额外的(贝叶斯)dropout 视角,一种流行的规则化方法; 利用这种连接,我们提出了变量 dropout,这使我们能够了解 dropout率。 几乎所有的神经网络实验都需要随机梯度优化; 这些优化器的改进值得研究,因为它们可以转化为所有这些结果的改进。这引出了我们的最终研究问题: 研究问题5:我们可以改进现有的随机梯度优化方法吗? 在第7章和[Kingma and Ba, 2015]中,我们提出了 Adam,一种基于自适应时刻的随机梯度优化的可扩展方法。该方法实现简单,计算开销低。我们展示潜力巨大的理论和实证结果。 在论文中,Kingma 试图对这些问题进行了回答,他再次总结了自己论文的主要贡献: 贝叶斯概率模型(directed probabilistic models)形成了现代人工智能的一个重要方面。通过使用可微分的深度神经网络参数化条件分布,这些模型可以非常灵活。 ELBO 概率优化算法 在fully-observed case 里,这种模型面向最大似然目标的优化很直接。通常,我们对这种模式中更复杂的(近似)贝叶斯后验推理感兴趣。两种常见的情况是(1)在 partially observed case 中,最大似然估计,例如深度潜变量模型(DLVM),和(2)贝叶斯后验推理参数。在变分(variational)推理的情况下,推理被当作新引入的变分参数的优化问题,通常针对ELBO 进行优化——模型证据的下限或数据的边际可能性。这种后验推理的现有方法或者相对低效,或者不适用于使用神经网络作为组件的模型。 从人脸生成模型中随机抽取的彩色样本。我们使用了与先前的Frey Face示例相同的一个相对简单的VAE,这次是在Labeled Faces in the Wild(LFW)数据集的一个低分辨率版本上训练的。图中显示的是模型中的随机样本。更好的模型可以通过更复杂的生成模型和推理模型来实现。 我们的主要贡献是一套有效和可扩展的基于梯度的变分后验推理和近似最大似然学习的有效方法。我们提出的方法中,一个常见组成部分是将潜在变量或参数再参数化,作为独立噪声的可微函数和变分参数。这可以使用自动微分软件直接计算梯度。为了优化关于ELBO 的潜变量模型,我们提出了变分自动编码器(VAE)框架,将推理网络与再参数化的梯度结合,避免局部参数,并通过双随机优化流程实现了对大数据集的可扩展性。研究展示了,该框架允许学习灵活的DLVM,它们原则上能够对大型数据集中的复杂分布进行建模。这对研究问题 2 给出了肯定的答案。VAE 框架现在是概率建模各种应用的常用工具,在大多数主要的深度学习软件库中都能找到。 VAE可用于图像再合成。 在White [2016]的这个例子中,在微笑向量方向上的潜在空间中,原始图像(左)被修改,因此原始图像由微笑变成悲伤。 注意,潜在空间中沿着单个向量的变化,将显著或不显著地在像素空间中改变图像。 我们还展示了与发布前的最先进技术相比,该框架如何使得半监督分类性能有了大幅提升。这同样给了研究问题2 一个肯定的答案。这一结果现在已经被基于GAN 的方法超越了(Salimans 等, 2016)。离散潜在变量的新型评估器(Maddison等,2016;Jang 等,2016)使得将和我们的架构类似的架构扩展到更多的类成为可能,并且成为用深度生成模型进一步探索半监督学习的有趣途径。 对于学习灵活的推理模型,我们提出了逆自回归流(inverse autoregressive flows,IAF),一种允许缩放到高维潜在空间的归一化流。这给了研究问题3 以肯定答案。VAE 框架与几乎任意的可微神经网络兼容。我们表明,具有IAF 后验的VAE 和新型神经网络 ResNet 可以学习自然图像模型,在对数似然性方面接近最先进技术,同时允许更快的大数量采样。进一步探索的一个有趣的方向是与低成本计算 inverse 的变换进行比较,例如 NICE (Dinh 等,2014)和 Real NVP (Dinh 等,2016)。在VAE 框架中应用这种转换可能会引出相对简单的VAE ,与强大的后验、先验和解码器。这样的架构可能媲美或超越单纯的自回归结构[van den Oord 等,2016a],同时允许快得多的合成。ResNet VAE 的一个单层的细节,自下而上推理(上)和双向推理(下)  VAE框架仍然是文献中唯一允许离散和连续观测变量的框架,允许有效的平摊潜变量推理分析和快速综合分析,表现出数据对数似然性方面的最先进性能。 我们通过神经网络参数进行了进一步提高基于梯度的变分推理因子分解高斯后验效率的工作。我们开发了一种局部再参数化技术,它将全局权重的不确定性作为局部活动的不确定性进行参数化,导致梯度估计器的精度与最小尺寸线性相关。这对研究问题 4 给出了肯定答案。在准确性或对数似然性方面早期停止或二进制退出方面,我们的实验并没有显示出巨大的进步。随后的工作,如[Molchanov等人,2017]和[Louizos等人,2017]显示了类似的参数化可以用于模型稀疏和模型压缩。我们认为这是未来研究的一种途径。 最后,我们提出了Adam,基于自适应时刻的一阶梯度优化算法。我们表明该方法相对容易调整,并且存在超参数选择,可以在大范围的问题中产生可接受的结果。我们的研究结果对研究问题 5 给出了肯定答案。优化方法已在所有主要的深度学习软件库中实施,并用于数千种出版物。我们猜测,通过加入曲率信息可以进一步改进。  论文下载:https://pan.baidu.com/s/1eSPDGv4 【扫一扫或点击阅读原文抢购五折“早鸟票”】 AI WORLD 2017 世界人工智能大会购票二维码:  via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652005708&idx=1&sn=9f0eada5f9b6be1a53a78b534ce46843&scene=0#wechat_redirect

 

tutu_promise   网页版 2017-10-02 14:32
独家 | 揭秘出行巨头Uber的机器学习平台与团队 – 量子位(分享自 @知乎 专栏) · 作者:量子位 http://t.cn/R0BPe5H

 

爱可可-爱生活   网页版 2017-10-02 16:02
Python
【HPAT(Python)高性能分析工具包:集群/云计算环境下基于编译器的大数据分析/机器学习框架】“High Performance Analytics Toolkit (HPAT) is a compiler-based framework for big data analytics and machine learning on cluster/cloud environments” by Intel Labs GitHub: https ://github .com/I…全文: http://m.weibo.cn/1402400261/4158433819207326

 

爱可可-爱生活   网页版 2017-10-02 14:21
深度学习 论文
《SVDNet for Pedestrian Retrieval:CNN到底认为哪个投影方向是重要的?》by 孙奕帆 http://t.cn/R03HGsI ref:《SVDNet for Pedestrian Retrieval》Y Sun, L Zheng, W Deng, S Wang (2017) http://t.cn/R01kbB7

 

新智元   网页版 2017-10-02 12:40
深度学习 算法
【新智元导读】VAE(变分自编码器) 和 ADAM 优化算法是深度学习使用率极高的方法。二者的发明者之一、OpenAI 的研究科学家 Durk Kingma 日前公布了自己的博士论文《变分推理和深度学习:一种新的综合方法》,新智元第一时间为您介绍。http://t.cn/R010pUd

 

洪亮劼   网页版 2017-10-02 12:00
深度学习 算法 资源 Hado Van Hasselt 课程 强化学习
很多人都认为深度学习(Deep Learning)和强化学习(Reinforcement Learning)是AI的重要体现。来自Google DeepMind的科学家Hado van Hasselt暑假的时候在今年暑假于蒙特利尔大学举办的“深度学习以及强化学习暑期学校”上讲解了“深度强化学习”的简要课程(http://t.cn/R01SoxK)。这个课程可以说是…全文: http://m.weibo.cn/3193816967/4158372825469171

 

爱可可-爱生活   网页版 2017-10-02 08:09
资源 教育网站 课程
【斯坦福CS229机器学习课程2016期末报告汇总】《CS 229 Machine Learning Final Projects, Autumn 2016》http://t.cn/RpToZj2

 

爱可可-爱生活   网页版 2017-10-02 07:31
算法 应用 Python 代码 机器人 强化学习
【(Python)Bullet机器人增强学习开发环境】“Bullet 2.87 with pybullet robotics Reinforcement Learning environments” http://t.cn/R03WxSV

 

爱可可-爱生活   网页版 2017-10-02 06:15
深度学习 资源 Tristan Webb 视频
【现有深度学习框架上的新抽象(ngraph)】《Towards new deep learning abstractions on top of exist frameworks – YouTube》by Tristan Webb[Intel Nervana] http://t.cn/R03Nl7Z

 

爱可可-爱生活   网页版 2017-10-02 06:11
深度学习 视觉 资源 Yann Lecun 视频
【AI机器视觉将把我们引向何方】《Where is AI Computer Vision Leading Us? – YouTube》by Yann LeCun http://t.cn/R03NS8U

 

wx:   网页版 2017-10-03 06:31
公告板 经验总结 入门 深度学习 视觉 算法 应用 资源 Pedro Domingos 博客 广告系统 课程 问题
「请收下这份关于人工智能的根目录——博客整理系列(一)」摘要:到底什么是人工智能?还对此毫无了解,那么请收下这份根目录!这可能是你见过的关于人工智能最全面的内容,这里有你想了解的关于人工智能的全部。 更多深度文章,请关注云计算频道:(https://yq.aliyun.com/cloud)博客更新太多,不知道如何选择?昨天还有博客没有看!今天又更新了!怎么办?不用烦恼,不用慌张!收藏本系列任何自己想要看的文章都不会错过,拿着“小册子”随时随地的看,随时随地的查。系列在手,天下我有!整理系列第一篇,肯定要追随时代潮流啦。人工智能的大潮势不可挡,据说现在小学生都要开始学习人工智能了!(今年七月份国务院印发了人工智能发展纲要中指出:完善中小学人工智能课程!)。慌不慌?以后你儿子张嘴就是人工智能,闭嘴也是人工智能,你一点都不知道怎么办?尴尬指数五星。为了避免尴尬,赶紧收藏本系列,从入门到转型,你想要的这里全都有!1. 对AI毫无了解?本文带你轻松了解AI (https://yq.aliyun.com/articles/72309)摘要:对AI一无所知?别担心,看完这篇文章,AI的基本知识收入囊中。2. 了解人工智能之基础概念-基本概念问答(https://yq.aliyun.com/articles/165108)摘要:本文对人工智能领域的一些基础知识进行了普及。对刚刚接触机器学习的人们会有不小的帮助。3. Master60胜,AI又实现一个小目标!背后则是机器学习的一大进步(https://yq.aliyun.com/articles/68274)摘要:凌晨,满屏被Master就是最新AlphaGo,60战全胜的消息刷屏。AI已经是2017年当之无愧的爆点之一。社区也翻译了一篇海外专家的文章,概述了整个2016年机器学习领域中的主要突破与发展,期待2017!4. 探索Alpha-Go —— AI是如何在围棋项目上打败人类的?(https://yq.aliyun.com/articles/73384)摘要:AlphaGo科普。5. 为什么人工智能偏好下棋?(https://yq.aliyun.com/articles/175018)摘要:虽然说人工智能偏好下棋,但是不是说人工智能只能下棋,应该说人工智能岂止于下棋。但为什么每次都是在下棋后,人工智能才会大火呢?因为棋术一直以来都被大多数人认为是人类智慧的结晶,人工智能要想被大多数人认可,必须要在大多数人都承认的领域崭露头角。6. AI派系之争如火如荼,问谁是英雄? 概率编程 VS 深度学习(https://yq.aliyun.com/articles/72201)摘要:算法大师Pedro Domingos在其著作《The Master Algorithm》中,把各种用以实现AI的技术称为AI派系。那么在这些派系中,孰优孰劣?谁又最终脱颖而出呢?7. 无处可藏:人脸识别时代生活报告(https://yq.aliyun.com/articles/206203)摘要:人脸是一件不同寻常的艺术品。人与人之间通过千变万化的面部特征互相认识,而面部特征又对人类社会的形成起到了至关重要的作用。面部表情能够传递情感信息,不管是不由自主的脸红,还是虚伪的假笑。不管是在办公室、法庭,还是在酒吧或者卧室,人们都在不停地观察其他人的脸部,以识别出隐匿于其中的关注、敌意、信任以及欺骗等信息。8. 人工智能多务虚,深度学习常务实(https://yq.aliyun.com/articles/69164)摘要:对于当前科技圈两大热点人工智能和深度学习,哪一个对我们来说更具指导意义,包含更多干货呢?9. 人工智能在细分及新兴领域的应用(https://yq.aliyun.com/articles/202935)摘要:深度学习算法在学习和预测方面的能力为实现人工智能应用打开了大门。如今,AI也在其他领域产生了深远的影响。在这篇文章中,我们将讨论AI在一些细分领域方面的应用。10. 五年内医疗行业AI应用前瞻(https://yq.aliyun.com/articles/147807)摘要:Meeker的研究表明,由于自2013年以来数字化方面投入的增加,全球医疗数据的数量同比增长了48%。随着这种富信息资源可用性(以及随之而来的负担)的提高,医疗和保健实践的各个方面都在重新设想。利用这一爆炸性的数据将使得市场和服务在交付规范方面完全转型。11. AI大发展,医疗领域AI应用离我们还有多远?(https://yq.aliyun.com/articles/71991)摘要:2016年似乎每天在深入学习研究方面都有一个新的巨大的突破。在医疗上 AI正在逐步发展,那么具体的应用还需要多久呢?12. 在筛选试管受精胚胎方面,AI比胚胎学家更靠谱(https://yq.aliyun.com/articles/126896)摘要:科学家们正在使用人工智能(AI)来分辨IVF(试管受精)的胚胎是否成功培育。一项最新的研究表明,在确定哪些胚胎有可能发育成健康的宝宝方面,AI预测的结果比胚胎学家预测的更准确。13. 探究根源:自动决策已成为生活的一部分,那机器学习和人工智能有哪些偏见?(https://yq.aliyun.com/articles/65042)摘要:昨天我做了一个关于人工智能中的偏见的12分钟演讲。首先需要指出,我并不是这方面的专家,其中大部分是通过阅读相关方面的研究文章的总结。 而这篇文章就是对这个演讲的文字描述。14. AI不可怕,就怕AI会画画——这里有一种你还不知道的‘图’灵测试…(https://yq.aliyun.com/articles/74383)摘要:有人说,阿尔法狗,So TM What?还有人说,AI(人工智能)有什么可怕的?它们不过是做一些人类不愿做的脏活、累活和一些可批量重复操作的活计,而对一些带有原创性质的活,比如艺术创作,AI就不灵光了。喂,喂,喂,且慢,且慢,先进来看看这里的图‘灵’测试,再说。15. 乾隆会判阿尔法狗死刑吗 ——浅谈当前人工智能的技术进化(https://yq.aliyun.com/articles/75266)摘要:人生自古谁无死,乾隆会判阿尔法狗去死?一个能打败李世石的阿尔法狗并不可怕,而一个具备打败李世石实力,但却在某些场景下故意输给李世石的阿尔法狗,那才真正可怕 转自:云栖社区 完整内容请点击“阅读原文” via: http://mp.weixin.qq.com/s?__biz=MzA4NDEyMzc2Mw==&mid=2649678184&idx=3&sn=4d9b29f2616a06ca9ec3c9ec5645f747&scene=0#wechat_redirect

 

wx:赵欢   网页版 2017-10-03 04:55
会议活动 入门 视觉 算法 应用 知识工程 资源 自然语言处理 CIKM Fang Yuan Han Jiawei Huang Zhipeng ICDM KDD Royal House Shi Chuan Sun Yizhou VLDB WSDM Yu Xiao 崔立明 代码 会议 矩阵 课程 李迪麟 李健达 宋阳秋 特征工程 凸优化 推荐系统 信息检索 姚权铭 语言学 赵欢 知识库
「港科大KDD 2017录用论文作者详解:基于异构信息网络元结构融合的推荐系统」AI 科技评论按:在KDD 2017上,香港科技大学计算机系博士生赵欢作为第一作者的论文 Meta-Graph Based Recommendation Fusion over Heterogeneous Information Networks 被 research track接收并做口头报告。经 AI 科技评论邀请,赵欢为雷锋网独家供稿,分享了团队此项研究的核心思想、算法框架及实验结果。本文主要介绍 KDD 2017 的一篇有关推荐系统的论文:「Meta-Graph Based Recommendation Fusion over Heterogeneous Information Networks」 这篇论文被KDD 2017的research track接收并做口头报告(录取率8.6%)。作者包括:第一作者赵欢,香港科技大学计算机系博士生,研究方向为「异构网络与推荐系统」;第二作者姚权铭,香港科技大学计算机博士生,研究方向为「机器学习优化算法研究」,2016 Google Fellowship 获得者;第三作者李健达,香港科技大学硕士毕业生,本科毕业于上海交通大学。 第四作者宋阳秋,香港科技大学助理教授,研究方向为「知识图谱、文本数据挖掘和自然语言处理」;第五作者李迪麟,香港科技大学正教授,研究方向为「信息检索,推荐系统,移动数据管理」。在这个信息爆炸的时代,推荐系统不仅能帮助用户更快地获取感兴趣的信息,同时也能创造巨大的商业价值,目前全球主要的互联网公司都会有专门的推荐团队来从事推荐算法的研究,旨在提升自己的业务效果。传统的推荐系统中,最常见的方法就是「协同过滤」,典型的例子就是我们在电商网站见到的「购买该商品的用户也购买了/也在看」。协同过滤方法一般包括两种方式,即基于用户和基于商品的协同过滤,以及矩阵分解 (Matrix Factorization)。自从 2007 年 Netflix 百万大奖的推荐系统比赛以来,矩阵分解的方法开始变得流行。尽管矩阵分解可以获得不错的推荐效果,但也有明显的问题:1)稀疏性(Sparsity)。现实生活里的评分矩阵往往非常稀疏,因为单个用户评分的商品是非常少的;2)冷启动(Cold Start)。新产生的用户和商品往往都没有评分。上述两种情况都会严重影响矩阵分解的预测准确性。除了这两个基本的问题以外,矩阵分解还有一个更严重的问题:它很难适应现在的推荐系统。因为当下的推荐系统需要处理的特征并非只有评分信息,而是各种各样的信息(称作 Side Information),比如商品的描述,图片,用户的好友关系等。我们可以看图 1 的例子,这是 Yelp 上一个餐馆的详情页。图 1:Yelp 上的一个详情页,Royal House从图中,我们可以看到,除了评分信息之外,还有餐馆的地理位置,用户上传的图片,评论等信息。显然,在给用户推荐餐馆的过程中,这些信息都非常重要,但它们又很难融入到现有的矩阵分解的模型中。因此,我们需要一个全新的框架来解决这样的问题。这是我们此次 KDD 工作的核心思想:「我们用 HIN 来对 side information 进行建模,同时设计了一套有效的算法框架,从而获得更好的推荐效果」。异构信息网络 (Hetegeneous Information Network 以下简称 HIN),是由 UIUC 的 Han Jiawei 和 UCLA 的 Sun Yizhou 在 2011 年的 VLDB 论文中首次提出 [1]。简单地理解,HIN 就是一个有向图,图中的节点和边都可以有不同的类型,如下图,是一个从上面 Yelp 详情页抽取出来的 HIN。节点可以代表不同类型的实体,比如 user, review, restaurant 等, 边代表不同类型的关系,比如 Check-in, Write, Mention 等。利用 HIN,我们就可以将各种各样的 side information 统一起来,接下来我们将介绍如何在 HIN 这个框架下完成我们的推荐过程。在Sun Yizhou的VLDB2011的论文中,除了提出HIN,同时也提出了meta-path,用来计算两个节点之间的相似度。meta-path就是一个节点的sequence,节点与节点之间由不同类型的边连接,也就是不同的关系。比如从上图中的HIN,我们可以设计meta-path:它表示的意义就是两个用户在同一个餐馆签到。我们可以提取一条meta-path的实例:那我们可以衡量和 Bar Louie 之间的相似度,当有越多的meta-path实例来连接和 Bar Louie,它们之间的相似度就越大,我们也会可以给推荐 Bar Louie。我们可以发现,这条 meta-path 正好对应我们熟悉的「基于用户的协同过滤」,即经常去 Royal House 的人也会去 Bar Louie。从这个例子我们可以看出,对于推荐系统来说,HIN和meta-path有两个好处:1) 非常完美地将各种side information融入到一个统一的模型;2)利用meta-path,可以设计出各种各样的推荐策略,除了推荐准确性提升之外,还能提供「可解释性」。当然,在计算节点相似度这个任务上,meta-path也有自己的问题:「无法处理复杂的关系」。比如两个用户之间有如下连接性。对应到图上的实例, 和 分别给 Royal House 写了一个评论,不仅给了五星好评,还在评论里同时提到了这里的「Seafood」,可以说这两个用户对餐馆的偏好非常相似。但是这样一种相似性,meta-path 无法对其进行建模。为了解决这个问题,有两篇论文 ( KDD 16 [2] 和 ICDE 16 [3]) 提出了一种更为通用通用的结构: meta-graph(也叫 meta-Structure)。相比 meta-path 要求必须是 sequence 的结构,meta-graph 只要求「一个起点和一个终点,中间结构并不限制」,这样大大提升了灵活性。因此,在我们的 KDD 论文中,我们采用了 meta-graph 这样一种结构,来计算用户和商品之间的相似度。在实践中,我们可以设计  条 meta-graph,从而得到多种商品和用户之间的相似度,也就是  个相似度矩阵。通过HIN和mega-graph,我们完美地将各种各样的side information统一到一个框架中。接下来的问题就是「如何设计更好的推荐算法」。在这个论文里,我们用到了「MF + FM」的框架,简单来说: 分别对个相似度矩阵进行矩阵分解,得到组用户和商品的隐式特征,然后将所有的特征拼起来,使用分解因子机进行训练和评分预测。对于一个样本,即用户-商品对,我们分别可以得到组特征,每组的维度为(在矩阵分解的时候,我们设定秩为)。那么我们就可以拼出下图中所以的一个维度为的特征向量。Factorization Machine (FM) [4] 是 2010 年在 ICDM 上提出一种模型,由于可以对特征之间的高阶关系进行建模,以及对二阶参数进行低秩分解,因而在评分预测这个推荐任务上取得了非常好的效果。在实践中,我们一般使用二阶关系:其中,是一阶参数,是二阶参数。为了学出 和,我们使用了 Least Squared loss:一般在 FM 的训练过程中,往往也会加上和的正则项来防止过拟合,用的最多的就是  。但是,在我们的工作中,由于我们会设计多条 meta-graph,并不是每条 meta-graph 都有用,为了自动选择出有用的 meta-graph,我们放弃了,而选择,也称作 group lasso。在我们的算法框架中,我们是以 meta-graph 为单位来构造用户和商品的隐式特征的,因此,每条 meta-graph 对应一组用户和商品的隐式特征。一旦某条 meta-graph 没有用,那么它对应的一组特征都应该被去掉,这就是我们采用 group lasso 来做正则项的动机。使用 group lasso 正则项之后,目标函数优化就变成了一个非凸非光滑(non-convex, non-smooth)的问题,我们使用了邻近梯度算法(proximal gradient)算法来求解它。以上就是我们的算法框架,接下来,我们将通过部分实验结果,来证明我们算法的优势。我们使用了 Yelp 和 Amazon 这两个数据集,这两个都是非常经典的推荐系统数据集,同时也包含了丰富的 side information。数据的具体统计数据,可以参看我们的论文,这里只展示我们用到的 meta-graph,如下图。在 Yelp 上,我们设计了 9 条 meta-graph,在 amazon 上,我们设计了 6 种 meta-graph。在推荐系统中,我们一般用来评估评分预测的好坏,越小意味着推荐效果越好。其中,是实际评分,是预测评分,是 test set 的个数。在实验中,我们和一些常见的方法相比,包括基于矩阵分解和基于HIN的方法。具体结果如下图:上图中,RegSVD 和 FMR 是基于矩阵分解的方法,HeteRec [5] 和 SemRec [6] 分别是 WSDM14 和 CIKM15 上的两篇论文,在 HIN 上用 meta-path 来进行推荐,FMG 是我们的算法。另外,CIKM-Yelp 和 CIKM-Douban 两个数据集是 CIKM15 的作者 Shi Chuan 提供给我们的。根据上图,我们有以下发现:在所有的数据集上,FMG 打败了所有的方法,推荐效果取得了不同程度的提升,证明了我们算法的有效性。在 CIKM-Yelp 和 CIKM-Douban 这两个数据集,我们使用和 CIKM15 一样的 meta-path,依然取得了 4.2% 和 3.2% 的提升,进一步证明在 HIN 这个框架下,我们推荐算法的有效性。在两种基于 HIN 的方法中,我们发现 SemRec 比 HeteRec 的效果好不少。除去推荐算法的差异,一个重要的不同就是,在 SemRec 中,作者设计了 U→∗←U→B 这样形式的 meta-path,而在 HeteRec,作者使用了 U→B←∗→B 这样形式的 meta-path。在我们的算法中,最终选择出来有效的 meta-graph,大多就是 U→∗←U→B 这样的形式。这个发现非常有意思,说明通过「用户协同」的推荐结果效果会更好一些。这个发现也和现实生活中对应,我们获取感兴趣的商品或者餐馆,除了兴趣本身之外,更多的时候是通过朋友圈里好友推荐而发现。它反过来也能解释 SemRec 好于 HeteRec。除了推荐效果的比较,我们还做了其他很多实验,有兴趣的读者可以去阅读我们的论文,在这里就不做赘述了。最后,给我们的论文做一个简单的总结。近些年,由于移动互联网和大数据的发展,现在的推荐系统面临丰富side information场景,传统的基于矩阵分解的方法已经很难再发挥作用,而基于人工设计的特征工程又极其费劲。通过HIN和meta-graph,我们提供了一种简单有效的框架,既能够非常灵活地利用side information来提升推荐效果,同时,还能利用人工设计的meta-graph来保留必要的语义信息,从而对推荐结果提供一定的「可解释性」。通过实验,我们也证明了这个框架的有效性。这个论文的代码和数据也已经公布到Github上: https://github.com/HKUST-KnowComp/FMG 。Sun Yizhou et.al., PathSim: Meta Path-Based Top-K Similarity Search in Heterogeneous Information Networks. VLDB 2011Huang Zhipeng et.al., Meta Structure: Computing Relevance in Large Heterogeneous Information Networks. KDD 2016Fang Yuan et.al., Semantic Proximity Search on Graphs with Metagraph-based Learning. ICDE 2016Rendle et.al., Factorization Machines. ICDM 2010Yu Xiao et.al., Personalized Entity Recommendation: A Heterogeneous Information Network Approach. WSDM 2014Shi Chuan et.al., Semantic Path based Personalized Recommendation on Weighted Heterogeneous Information Networks. CIKM 2015 —————  给爱学习的你的福利  —————3个月,从无人问津到年薪30万的秘密究竟是什么?答案在这里——崔立明授课【推荐系统算法工程师-从入门到就业】3个月算法水平得到快速提升,让你的职业生涯更有竞争力!长按识别下方二维码(或阅读原文戳开链接)抵达课程详细介绍~———————————————————— via: http://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247487520&idx=1&sn=42464104be1d00de642100f8d3b8c914&scene=0#wechat_redirect

 

回复