RAM与QA相关文章资源列表

RAM并非Random-Access Memory,而是DL领域时下热门的Reasoning, Attention, Memory。NIPS2015将于12月5日组织一个RAM (Reasoning, Attention, Memory) workshop,组织方则是Facebook AI Research的Jason Weston (Memory Networks作者) ,Reference列表中的文章都挺不错,近日查阅了几篇QA相关的文章及资源整理如下。整理粗糙,望谅解。文章列表从近日最新的工作往前开始追溯:
(如下文章中引用率出自Google scholar-2015/11/02)

[1]. 《Empirical Study on Deep Learning Models for QA
时间:2015/10/26,单位:US IBM Watson,作者:Yang Yu
数据集:Facebook’s bAbI (问答系统)
动机:深入探究Memory组件和Attention机制在解决QA问题中的应用。虽然之前的文章中有提及很相关的工作神经图灵机(NTM,Neural Turing Machine)和神经机器翻译(NMT,Neural Machine Translation)模型,且很多工作已经采用机器翻译模型解决QA任务,但并没有论文采用NMT和NTM解决QA问题。因而本文在Facebook的人工构造QA数据集上融合并对比了当下热门三种DL方法:Neural Machine Translation,Neural Turing Machine及Memory Networks。
结论:融合Memory组件和Attention机制在解决QA问题上具有巨大潜力。
亮点:对比了三种工作在QA问题上的效果,将QA问题拆成两部分:寻找Supportings 和 进行Response,其中前面部分需要基于Memory进行(Soft-)Search,而后部分需要在候选Suppportings上进行Attention,因而将MemNN和NMT工作的结合得到更好的效果。

[2]. 《Ask Me Anything: Dynamic Memory Networks for Natural Language Processing