深度学习网络热点问题:attention 和 memory 的区别

更新于 2016年1月9日 机器学习
我来说两句
赵家平USC   网页版 2016-01-08 08:37
深度学习 自然语言处理
http://t.cn/R46UsAd 探讨了 attention 和 memory 的区别,随着 Neural machine translation 的出现, attention 被立即应用到 CV, ASR 中,然而,“attention” 只不过把 source sequence的不同的location,定义了不同的weight, 更像是 access internal memory, 而非人类的 “attention mechanism”

 

回复