0 引言

经过百万年演化而成的人脑或许是世界上最复杂最精密的机器，它承载了人类所有智能活动(注意、学习、记忆、直觉、顿悟和决策等)。人脑的核心结构由百亿级神经元及百万亿神经突触构成。每个神经元通过神经突触“接收”从其他神经元传递过来的信息，再将加以处理后的信息通过神经突触传递给其他神经元。这样，外界感官信息(视觉、听觉、嗅觉、味觉、触觉)以复杂方式在大脑中分析与处理，形成感知和认知。

“工欲善其事，必先利其器”。为了仿真大脑对外界信息的处理机制，首先要观测信息在大脑神经元和神经突触之间的“传递”。目前，光、电、磁、声等观测与调控技术为大脑观测提供了有效手段，打开了理解大脑、模拟大脑、连接大脑的大门。当前较为成熟的大脑观测方式有电脑断层扫描(CT)、磁共振成像(MRI)、正电子发射计算机断层扫描(PET)和功能性磁共振成像(fMRI)等。

记忆是大脑智能的基础。神经科学研究发现^[1]，人类有瞬时记忆、工作记忆和长期记忆3种形式的记忆体，3种记忆体及其联系如图 1所示。瞬时记忆用来感知外界信息，如我们“眼观六路、耳听八方”，从外界环境中不断感知信息, 瞬时记忆所感知得到的信息如果没有引起注意，则这些信息就成为了“耳边风”。只有那些引起注意力的信息被送入工作记忆体，直觉、顿悟和推理等智能活动就基于这些数据展开。在工作记忆区域中，当前输入(通过各种感官感知)信息(即当前数据)以及非当前输入信息(已存储的历史信息，如已有知识和过往经验)一起发生作用。也就是说，人脑在进行感知和认知时，不仅要对当前数据进行处理，还需要调动大脑中存储的相关信息。因此，注意力与记忆在人的认知理解过程中扮演了重要的角色，特别是对于文本、语音与视频等序列数据的知识获取与理解过程至关重要。

图 1 3种记忆体及联系

Fig. 1 Instantmemory, working memory and long-term memory

古语常言“弦外之音、画外之意”，这就是人脑在认知理解中不仅仅依赖当前数据，通过从长期记忆中唤醒了类似信息，而对当前信息做出的加工和处理。可见，如果能对上述3种记忆体之间的交互和融合进行算法建模，就可以建立起一种“类脑计算”模式，完成智能处理任务。

《记忆碎片》这部影片描述了一位短期记忆缺失的人物。在生活中，这个人物有一个原型，该原型人物失去了记住半个小时前发生的事情的能力。科学家们一直认为，短期记忆是在大脑的海马体中形成与储存，长期记忆在大脑皮层长期储存。学习与记忆被认为由以下3个部分组成：将事件编码进入神经网络；将编码好的信息储存起来；将来回忆的时候重新调出使用。这个过程如图 2所示。

图 2 大脑皮层中长时记忆和海马体中工作记忆的示意图

Fig. 2 Long-term memory and working memory

由于“端到端”深度学习在识别分类等任务中表现出了优异性能，因此如何在深度学习模型中引入注意力机制和外在记忆结构，以挖掘数据中感兴趣的信息和有效利用外来信息，是当前人工智能研究的热点。

这一方面的代表性工作是针对序列数据学习的反馈神经网络(RNN)^[2]。理论上，RNN的当前状态依赖于所有前序输入与状态，也就是说RNN每个时刻可“记忆”过往全部信息，但在实际使用中由于梯度消失使得RNN在很短的序列中就表现出“遗忘”的特性，即多步之前的状态对当前状态输出几乎没有影响。为了克服这个问题，长短时记忆(LSTM)^[3]、门控循环单元(GRU)^[4]等模型引入了“短时记忆”的概念，即当前时刻状态的输出受到其过往若干时刻状态的影响。在“短时记忆”基础上，LSTM进一步学习序列数据中若干输入单元与某一输出之间的影响权重，使得LSTM具备了“注意力”机制，在机器翻译、语音识别和图文生成等领域取得了巨大成功，这一学习输入序列数据和输出序列数据之中若干单元之间相互影响的注意力机制也被称为“内在记忆(internal memory)”。

如前所述，人脑在理解当前场景和环境时，有效利用了与当前输入数据相关的信息，这些信息存储在外部记忆体(external memory)中。神经图灵机(NTM)^[5]就是通过一个控制器(LSTM实现)来对一个外部记忆库(相当于图灵机中的纸带)中知识进行读/写操作，以有效利用已有知识和先验信息，这被称为是一种深度神经推理(deep neural reasoning)的方法。类似的工作还有记忆网络(memory networks)^[6]、自适应计算时间(adaptive computation time)、神经随机访问机器(neural random access machines)以及通过强化学习来训练NTM、堆栈和队列等形式的“外在记忆体”随机访问方法。

在端到端深度学习中引入注意力机制和记忆结构，可有效利用当前数据以外的数据和知识，克服了仅依赖于输入数据进行驱动学习的不足，在零样本学习等方面表现出一定的优势。为此，基于记忆驱动的手段和方法在媒体学习和创意中成为了当前的热点。

1 国际研究现状

1.1 神经图灵机

神经图灵机(NTM)的架构包含两个基本组件：神经网络控制器和存储器组。图 3展示了NTM的架构图。像大多数神经网络一样，控制器通过输入和输出向量与外部世界进行交互。但与标准网络不同的是，它还使用选择性地读写操作与存储矩阵进行交互。类比图灵机，网络的输出被称为“头”。

图 3 神经图灵机的架构

Fig. 3 Neural turing machine architecture

至关重要的是，该架构的每个组成部分都是可微分的，因此可以直接用梯度下降进行训练。文献[5]通过定义“模糊”(blurry)读写操作来实现这一点，这些操作可以或多或少地与内存中的所有元素进行交互(而不是像普通的图灵机或数字计算机那样寻址单个元素)。模糊程度由注意力“焦点”机制决定，该机制使得每个读取和写入操作只与存储器的小部分交互。由于与存储器的交互非常稀疏，因此NTM偏向于存储数据而不受干扰。引起注意力集中的记忆位置由读写头的输出决定。这些输出定义了存储器矩阵中在行上的加权(称为存储器“位置”)。每个权重定义了磁头在每个位置读取或写入的程度。因此，读写头可以在单个位置大幅地修改存储器，或者在许多位置少量地修改存储器。

1.1.1 读取操作

1.1.2 写入操作

1.1.3 地址机制

前面已经介绍了读取和写入的过程，但还没有说明如何产生权重。这些权重通过两种寻址机制相结合而产生。第1种机制“基于内容的寻址”，将注意力集中在那些与控制器发出的值相似的位置上。这与Hopfield网络的内容寻址相似^[8]。基于内容的寻址的优点是检索简单，仅需要控制器产生对存储数据的一部分的近似，然后将其与存储器进行比较以产生精确的存储值。

但是，并非所有问题都适用于基于内容的寻址。在某些任务中，变量的内容是任意的，但变量仍然需要可识别的名称或地址。算术问题就属于这一类：变量$x$和变量$y$可以取任何两个值，但仍应定义函数$f\left( {x, y} \right) = x \times y$。此任务的控制器可以获取变量$x$和$y$的值，将它们存储在不同的地址中，然后检索它们并执行乘法运算。在这种情况下，变量按位置而不是内容来寻址的。这种形式的寻址被称为“基于位置的寻址”。基于内容的寻址比基于位置的寻址更为通用，因为内存位置的内容也可以包含位置信息。然而，实验发现，提供基于位置的寻址作为原始操作被证明对于某些形式的泛化是必不可少的，因此需要同时使用这两种机制。

图 4给出了整个寻址系统的流程图，它显示了在读取或写入时构造加权向量的操作顺序。

图 4 地址机制的流程图

Fig. 4 Flow diagram of the addressing mechanism

1) 基于内容的寻址机制。对于内容寻址，每个头(无论是用于读取还是写入)首先产生长度$M$的键向量(key vector)${\mathit{\boldsymbol{k}}_t}$，其通过与每个向量${\mathit{\boldsymbol{M}}_t}\left( i \right)$进行相似性度量$K\left[{ \cdot, \cdot } \right]$得到。基于内容的系统基于相似性和键强度(key strength)${\beta _t}$生成归一化加权$\mathit{\boldsymbol{w}}_t^c$，其可以放大或衰减焦点的精度，即

$ w_t^c\left( i \right) \leftarrow \frac{{\exp \left( {{\beta _t}K\left[ {{\mathit{\boldsymbol{k}}_t},{\mathit{\boldsymbol{M}}_t}\left( i \right)} \right]} \right)}}{{\sum\limits_j {\exp \left( {{\beta _t}K\left[ {{\mathit{\boldsymbol{k}}_t},{\mathit{\boldsymbol{M}}_t}\left( j \right)} \right]} \right)} }} $

(5)

在实现时，相似性度量采用余弦相似度，即

$ K\left( {\mathit{\boldsymbol{u}},\mathit{\boldsymbol{v}}} \right) = \frac{{\mathit{\boldsymbol{u}} \cdot \mathit{\boldsymbol{v}}}}{{\left\| \mathit{\boldsymbol{u}} \right\| \cdot \left\| \mathit{\boldsymbol{v}} \right\|}} $

(6)

2) 基于位置的寻址机制。基于位置的寻址机制旨在促进跨存储器位置的简单迭代和随机访问跳转。它通过对加权旋转移位来实现。例如，如果当前加权完全集中在某个位置，则旋转1会将焦点移动到下一个位置。负的移位会使权重向相反方向移动。

在旋转之前，每个磁头发出范围为(0, 1)的标量插值门(interpolation gate)${g_t}$。$g$的值用于混合上个时刻由头产生的加权${\mathit{\boldsymbol{w}}_{t-1}}$与在当前时刻由内容系统产生的加权$\mathit{\boldsymbol{w}}_t^c$，产生门加权(gated weighting)$\mathit{\boldsymbol{w}}_t^g$

$ \mathit{\boldsymbol{w}}_t^g \leftarrow {g_t}\mathit{\boldsymbol{w}}_t^c + \left( {1 - {g_t}} \right){\mathit{\boldsymbol{w}}_{t - 1}} $

(7)

如果门是零，则内容加权被完全忽略，直接使用上个时刻的加权。相反，如果门是1，则忽略上个时刻的加权，此时采用基于内容的寻址。

插值后，每个磁头都会发出一个移位加权(shift weighting)${\mathit{\boldsymbol{s}}_t}$，它定义了整数移位上的归一化分布。例如，如果允许在-1和1之间移位，则${\mathit{\boldsymbol{s}}_t}$具有3个元素，这3个元素对应于执行-1，0和1的移位的程度。定义移位权重的最简单方法是使用关于控制器的适当大小的softmax层。

如果用0到$N$-1来索引$N$个存储器位置，则通过${\mathit{\boldsymbol{s}}_t}$作用于$\mathit{\boldsymbol{w}}_t^g$的旋转可以表示为

$ {{\tilde w}_t}\left( i \right) \leftarrow \sum\limits_{j = 0}^{N - 1} {w_t^g\left( j \right){s_t}\left( {i - j} \right)} $

(8)

式中所有的索引计算都以$N$为模计算。如果移位权重不明显，等式(8)中的卷积运算会导致权重随时间泄漏或分散。例如，如果给定-1，0和1的偏移权重为0.1，0.8和0.1，则旋转将把聚焦在单个点的权重转换为在3个点上略微模糊的权重。为了解决这个问题，每个头都会发出另一个标量${\gamma _t}$≥1，它的作用是锐化最终的加权，即

$ {w_t}\left( i \right) \leftarrow \frac{{{{\tilde w}_t}{{\left( i \right)}^{{\gamma _t}}}}}{{\sum\limits_j {{{\tilde w}_t}{{\left( j \right)}^{{\gamma _t}}}} }} $

(9)

加权内插、基于内容的寻址以及基于位置寻址的组合寻址系统可以以3种互补模式操作:1)加权可以由内容系统选择而无需修改位置系统；2)可以先选择内容寻址系统产生的加权然后再进行移位；3)可以在没有基于内容的寻址系统的任何输入的情况下旋转上个时刻的加权。

1.1.4 控制器网络

1.2 记忆网络

1.2.1 记忆网络的结构

1.2.2 记忆网络的实现

在文献[6]的基本架构中，$I$模块采用文本作为输入。首先假设这是一个句子：要么是事实的陈述，要么是系统要回答的问题。文本以其原始格式存储在下一个可用存储器插槽中。因此，$G$模块仅用于存储此新记忆，所以旧记忆不会更新。

推理的核心在于$O$和$R$模块。给定$x$的情况下，$O$模块通过寻找$k$个支持记忆(supporting memory)来产生输出特征。这里$k$最多为2，但可推广到更大的$k$。对于$k$=1，检索得分最高的支持记忆，即

$ {o_1} = {O_1}\left( {x,\mathit{\boldsymbol{m}}} \right) = \mathop {\arg \max }\limits_{i = 1, \cdots ,N} {s_O}\left( {x,{\mathit{\boldsymbol{m}}_i}} \right) $

(11)

式中，${s_O}$是对句子$x$和${\mathit{\boldsymbol{m}}_i}$的匹配程度进行评分的函数。对于$k$=2的情况，在给出第1个支持记忆后可找到第2个支持记忆，即

$ {o_2} = {O_2}\left( {x,\mathit{\boldsymbol{m}}} \right) = \mathop {\arg \max }\limits_{i = 1, \cdots ,N} {s_O}\left( {\left[ {x,{\mathit{\boldsymbol{m}}_{{o_1}}}} \right],{\mathit{\boldsymbol{m}}_i}} \right) $

(12)

其中支持记忆候选记忆${\mathit{\boldsymbol{m}}_i}$的得分不仅取决于原始输入，还取决于第1个支持记忆的得分，其中方括号表示列表。最终输出$o$为$\left[{x, {\mathit{\boldsymbol{m}}_{{o_1}}}, {\mathit{\boldsymbol{m}}_{{o_2}}}} \right]$，将会输入到模块$R$。

最后，$R$需要产生一个文本响应$r$。最简单的回答是返回${\mathit{\boldsymbol{m}}_{{o_k}}}$，即输出我们检索到的先前发出的句子。为了生成真正的句子，可以使用RNN。

图 5中给出了一个示例任务。为了回答问题$x$=“现在牛奶在哪里？”，$O$模块首先根据$x$对所有记忆(即所有先前看到的句子)打分以检索出最相关的事实，在这种情况下，${{\mathit{\boldsymbol{m}}_{{o_1}}}}$=“乔离开了牛奶”。然后，它将再次检索记忆以找到给定$\left[{x, {\mathit{\boldsymbol{m}}_{{o_1}}}} \right]$时，第2个相关的事实，即${{\mathit{\boldsymbol{m}}_{{o_2}}}}$=“乔前往办公室”(乔离开牛奶去之前的最后一个地方)。最后，$R$模块在给定$\left[{x, {\mathit{\boldsymbol{m}}_{{o_1}}}, {\mathit{\boldsymbol{m}}_{{o_2}}}} \right]$的条件下将对单词打分以输出$r$ =“办公室”(office)。

图 5 通过简单模拟生成的“故事”语句，问题和答案的示例

Fig. 5 Example "story" statements, questions and answers generated by a simple simulation

1.2.3 记忆网络的训练

1.3 可微分神经计算机

1.3.1 可微分神经计算机的结构

DNC是一个拥有外部存储器矩阵的神经网络。如果存储器可以被认为是DNC的RAM，那么网络则称之为“控制器”，它是一个可微分的CPU，其操作是通过梯度下降来学习的。DNC架构与最近的神经存储器架构^{[6, 19]}的不同之处在于，存储器可以被选择性地写入和读取，也允许存储器内容的迭代修改。早期形式的DNC，如神经图灵机^[13]，具有类似的结构，但它的存储器访问方法更有限。

传统计算机使用唯一地址来访问存储器内容，而DNC使用可微分注意机制^{[5, 20-21]}来定义$N$×$W$，以表示在存储矩阵$\mathit{\boldsymbol{M}}$中在$N$行(“位置”)上的分布。这些分布被称之为权重，表示每个位置参与读取或写入操作的程度。由读取加权${\mathit{\boldsymbol{w}}^r}$在存储器$\mathit{\boldsymbol{M}}$上返回的读取向量$\mathit{\boldsymbol{r}}$是存储器位置上的加权和

$ \mathit{\boldsymbol{r}} = \sum\limits_{i = 1}^N {M\left[ {i, \cdot } \right]{w^r}\left[ i \right]} $

式中，“·”表示所有的$j$=1, 2, …。类似地，写入操作使用写入加权${\mathit{\boldsymbol{w}}^w}$，它首先用擦除向量$\mathit{\boldsymbol{e}}$擦除，然后再添加写入向量$\mathit{\boldsymbol{v}}$

$ M\left[ {i,j} \right] \leftarrow M\left[ {i,j} \right]\left( {1 - {w^w}\left[ i \right]e\left[ j \right]} \right) + {w^w}\left[ i \right]v\left[ j \right] $

决定和使用权重的功能单元称为读写头。读写头的操作如图 6所示。

图 6 可微分神经计算机的架构

Fig. 6 DNC architecture

1.3.2 读写头与存储器的交互

2 国内研究进展

2.1 外在记忆驱动下的自动问答

问答系统是一个允许用户发布问题和解决问题的平台。问答系统的好处已在文献^[29-30]中得到充分认可。一些问答网站在现实世界中变得越来越流行，并且随着时间的推移已经积累了大量的问题与答案。凭借大量的问答数据，问答系统已成为一个活跃的研究领域，并在信息检索和自然语言处理(NLP)领域引起了广泛关注^[31]。在各种问答研究中，仿真问答(FQA)是最广泛研究的任务之一^[32]。

给定一段描述性语句，仿真型问答旨在提取实体答案。单句问题^[31-32]是FQA中最常见的形式。例如：“世界上最大的大陆是什么？”。另一方面，还有另一种形式的FQA，其问题是描述某个实体的描述性段落。这种FQA的一个典型例子叫做Quiz Bowl^[33-34]。Quiz Bowl问题由一系列有序句子组成，这些句子从不同角度描述了答案的方方面面。它有一个名为“金字塔”的属性，意味着先前描述问题的句子包含更隐蔽的线索，而之后的句子会给出较为具体的信息。图 7展示了一个Quiz Bowl问题及其相应答案的示例。具有相同颜色的单词与答案具有相同的指示性提示(例如，Notre Dame du Haut和Villa Savoye是Le Corbusier使用钢筋混凝土框架设计的两座建筑)。这个问题包含6个有序句子。前面的句子包含答案信息较少，后面的句子提供了更有用的线索来揭示答案。

图 7 Quiz Bowl中的一个的例子

Fig. 7 An example of Quiz Bowl

现有方法倾向于将Quiz Bowl问题视为文本分类任务。文献[33]在词袋模型的基础上，使用Naive-Bayes模型进行答案识别。为了完全理解每个句子的语义，文献[34]使用依赖树递归神经网络(DT-RNN)来利用句子编码中的依赖信息。文献[35]引入了堆叠卷积神经网络(CNN)，以学习原始文本的句子表示和段落表示，并将这些特征映射到相应的答案。文献[36]提出了一个深度平均网络(DAN)来学习描述段落与其答案之间的相关性。

上述方法仅侧重于利用单个句子与其对应答案之间的语义相关性，通过构建更好的语义空间以完成Quiz Bowl数据的语义分类。然而，社会学和生物学的研究表明^[37-38]，决策的形成通常受到信息流中不同时间节点下不同信息的综合影响。在Quiz Bowl竞赛中，当给出一系列有序的句子时，答案的线索逐渐给出。因此，最好利用句子的时序相关性来识别答案。除此之外，人类在阅读时，会联想到有相关性的辅助信息。在大多数情况下，我们在接收到问题后，都会通过检索自身已有知识，给出正确答案^[39-40]。因此，文献[41]推测问题语句之间的时序相关性和外部知识是有助于提升Quiz Bowl回答准确率的两个因素，而利用这两个因素提升问答效果对本任务也是极具意义的。

基于以上的假设，文献[42]致力于如何有效地利用有序句子中的时序相关性和外部辅助知识提高Quiz Bowl的回答表现。具体来说，文献[42]设计了一种名为时序增强知识存储网络(TE-KMN)的新型网络架构。这种端到端的架构引入了一种基于注意力的时序模型，它是门控循环单元(GRU)^[43]的扩展，用于捕获有序语句的时序相关性。同时，利用每个描述句之外的辅助知识，增强对每句话的理解。

图 8是文献[41]提出的时序增强知识存储网络(TE-KMN)流程图，其中，图 8(a)左下角是训练数据。对于每个答案，有几个有序的描述性句子从不同方面逐渐揭示一个答案。靠前的句子包含较少与答案相关的线索，而后序语句则包含较多线索。左上角是一个知识存储器，由外部辅助知识组成，这里的知识主要来自维基百科。图 8(b)给出答案，假设总共有$T$个有序句子从不同方面描述答案(即${s_1}$, ${s_2}$, …, ${s_T}$)。每个句子${s_i}$都被编码为向量${\mathit{\boldsymbol{x}}_i}$。每个句子的隐向量${\mathit{\boldsymbol{h}}_i}$(1≤$i$≤$t$-1)将影响隐向量${\mathit{\boldsymbol{h}}_t}$的学习。隐向量${\mathit{\boldsymbol{h}}_t}$之后被传送到知识存储网络，并与句子${s_t}$相关的外部辅助知识作进一步推理。图 8(c)更新T-GRU的注意力机制。右上角是更新前的T-GRU。右下角是同一个T-GRU，${\mathit{\boldsymbol{h}}_1}$, ${\mathit{\boldsymbol{h}}_2}$, …, ${\mathit{\boldsymbol{h}}_{t-1}}$是读取前面句子的T-GRU的隐藏输出。红色和绿色实心圆圈分别代表更新前后的$\alpha $值。$\mathit{\boldsymbol{W}}$表示加权矩阵。

图 8 时序增强知识存储网络流程图

Fig. 8 Flowchart of temporality-enhanced knowledge memory network (TE-KMN) ((a) Traing data and knowledge memory; (b) TE-KMN; (c) Update of attention mechanism of T-GRU)

2.2 基于层叠记忆网络的电影视频问答

建立视觉理解和人机交互之间的联系是人工智能领域一项具有挑战的任务。尽管视觉自动描述^[43-46]在建立视觉内容与自然语言连接上取得一定进展，但它通常描述视觉内容的粗略语义信息，缺少对不同视觉线索之间的建模以及推理的能力。而视觉问题回答(VQA)^{[42, 47-48]}能够依赖全面的场景理解，对不同层次的视觉内容进行推理找到正确的答案。

人脑在应对和VQA类似的认知任务时，不仅需要对当前接收到的信息进行处理，还需要根据接收到的信息对大脑中存储的知识进行检索和推理。因此注意力机制和记忆在认知理解的过程中有很重要的作用。目前VQA任务中常见的方法是通过卷积神经网络(CNN)和递归神经网络^[42]在同一特征空间下学习图像和问题特征组合的表示。为了准确地关联特定的语言信息与特定的视觉内容，同时根据问题对已有的视觉内容进行推理，文献[47-48]分别提出利用动态记忆和注意力机制来提高VQA的性能。

视频可以看做是图片在时间和空间上的拓展，因此视频理解任务，需要模型不仅能够编码每一帧的信息而且需要编码连续视频帧之间的时序性依赖关系。和一般视频相比，大多数电影具有特定的背景(例如动作电影和战争电影)以及拍摄风格。因此，仅通过视觉内容来理解电影的故事是一项具有挑战性的任务。另一方面，电影通常包含由演员之间对话组成的字幕信息，这部分信息能够为更好的理解电影内容提供帮助。针对视频理解等认知任务，虽然LSTM能够编码具有时序依赖性的时序信息且同时具有一定的记忆能力，但是LSTM的记忆能力有限并且不具备推理能力。为了提高模型的记忆能力并体现推理过程，NTM^[43]通过一个控制器(LSTM)来对一个外部记忆库(相当于图灵机中的纸带)中知识进行读/写操作，以有效利用已有知识和先验信息，类似的工作还有Memory Networks^[6]。

文献[49]探究了如何利用电影片段的视觉信息以及电影字幕进行电影问题回答任务。其提出的层叠记忆网络(LMN)分别通过静态单词记忆模块和动态字幕记忆模块来存储单词和电影字幕信息，同时通过这两个模块学习电影视觉内容的分层表示，即帧级和片段级。静态单词模块包含MovieQA数据集^[50]中的所有单词信息，而动态字幕记忆模块包含所有字幕信息。方法框架如图 9，通过用静态单词模块中存储的单词信息表示每个电影视觉帧的区域特征并得到帧级表示。其次，生成的帧级表示输入到动态字幕记忆模块并得到最终的电影片段级表示。因此，分级形成的电影表示不仅对每一帧内视觉内容和单词之间的对应关系进行编码，而且还对电影片段内的字幕和帧之间的时间对应关系进行编码。

图 9 LMN模型的框架

Fig. 9 The framework of LMN

层叠记忆网络(LMN)能够同时利用视觉内容以及字幕内容进行电影问答任务。LMN的输入是逐帧特征图序列$\left\{ {{\mathit{\boldsymbol{I}}_1}, {\mathit{\boldsymbol{I}}_2}, \cdots {\mathit{\boldsymbol{I}}_T}} \right\}$，输出是LMN预测的正确答案。后续小节将绍LMN如何通过静态单词记忆和动态字幕记忆表示帧级和片段级的视觉内容。

2.2.1 用静态单词记忆模块表示电影视频帧

该模块的主要目标是通过静态单词记忆模块得到电影片段帧中特定区域的语义表示。该模块如图 10，有一个静态单词记忆模块${\mathit{\boldsymbol{W}}_{\rm{e}}} \in {\mathbb{R}^{\left| v \right| \times d}}$，它可以被看做是一个单词数量为$\left| v \right|$的将单词映射为$d$维连续向量的单词嵌入矩阵。静态单词记忆模块可以通过skip-gram模型学习^[51]。$\left\{ {{\mathit{\boldsymbol{I}}_1}, {\mathit{\boldsymbol{I}}_2}, \cdots {\mathit{\boldsymbol{I}}_T}} \right\}$是从CNNs的卷积层中提取的逐帧特征图序列，特征图序列中每一项的形状为$C$×$H$×$W$，其中$C$、$H$、$W$分别表示通道数、特征图的高和宽。因此能够得到$H$×$W$大小的区域特征$\left\{ {{\mathit{\boldsymbol{l}}_{ij}} \in {\mathbb{R}^C}} \right\}$，其中$i$∈{1, 2, …, $T$}，$j$∈{1, 2, …, $H$×$W$}。与直接将区域特征映射到公共空间的联合嵌入方法不同，文献[49]通过静态单词记忆表示区域特征。首先通过映射${\mathit{\boldsymbol{W}}_l} \in {\mathbb{R}^{d \times C}}$，${\mathit{\boldsymbol{v}}_{ij}} = {\mathit{\boldsymbol{W}}_l}{\mathit{\boldsymbol{l}}_{ij}}$将区域特征映射到单词空间，其中${\mathit{\boldsymbol{v}}_{ij}}$表示第$i$个电影片段帧的第$j$个映射后的区域特征。接下来利用内积计算映射后的区域特征与静态单词记忆中单词特征的相似度。计算过程为

图 10 词记忆模块的框架图

Fig. 10 The framework of Static Word Memory module

$ {\alpha _{ijk}} = \mathit{\boldsymbol{v}}_{ij}^{\rm{T}}{\mathit{\boldsymbol{w}}_k} $

(14)

式中，${\mathit{\boldsymbol{w}}_k}$表示静态单词记忆${\mathit{\boldsymbol{W}}_e}$中的第$k$行向量, ${\mathit{\boldsymbol{v}}_{ij}}$和${\mathit{\boldsymbol{w}}_k}$都先进行了归一化操作，因此${\alpha _{ijk}}$等价于cosine相似度。接下来区域特征${\mathit{\boldsymbol{v}}_{ij}}$可以用记忆当中所有单词向量的加权和表示，即

$ {\mathit{\boldsymbol{v}}_{ij}}: = \sum\limits_{k = 1}^{\left| v \right|} {{\alpha _{ijk}}{\mathit{\boldsymbol{w}}_k}} $

(15)

式中，$\left| \mathit{\boldsymbol{v}} \right|$代表静态单词记忆的大小。符号:=表示“更新”操作。因此帧级表示为

$ {\mathit{\boldsymbol{v}}_i} = \sum\limits_{j = 1}^{\left| {H \times W} \right|} {{\mathit{\boldsymbol{v}}_{ij}}} $

(16)

因为每个区域特征是所有单词向量的加权和，${\mathit{\boldsymbol{v}}_i}$可以看做是第$i$个电影帧的语义表示。这个过程和图片区域上的注意力机制相似。但是该模型是建立记忆中的单词与每一个区域特征之间的联系。

文献[49]提出的静态单词记忆有两个特点：1)静态单词记忆可以看做是一个单词嵌入矩阵，可以利用记忆将单词映射为连续向量；2)静态单词记忆可以用于表示电影帧中的区域特征。

2.2.2 用动态字幕记忆模块表示电影片段

该模块的主要目的是通过动态字幕记忆得到电影片段中特定帧的语义表示。因为电影不仅包含视觉内容还包含字幕信息，因此，文献[49]提出了动态字幕记忆模块来表示带有电影字幕的电影片段，其框架如图 11所示。

图 11 动态字幕记忆模块的框架图

Fig. 11 The framework of Dynamic Subtitle Memory module

假设电影视频帧已被表示为输出${\mathit{\boldsymbol{v}}_i}$。然后，通过静态单词记忆得到字幕的表示{${\mathit{\boldsymbol{s}}_1}$, ${\mathit{\boldsymbol{s}}_2}$, …, ${\mathit{\boldsymbol{s}}_N}$}，同时将{${\mathit{\boldsymbol{s}}_1}$, ${\mathit{\boldsymbol{s}}_2}$, …, ${\mathit{\boldsymbol{s}}_N}$}作为动态字幕记忆。动态字幕记忆的表示过程为

$ \beta _i^n = \mathit{\boldsymbol{v}}_i^{\rm{T}}{\mathit{\boldsymbol{s}}_n} $

(17)

$ {\mathit{\boldsymbol{v}}_i}: = \sum\limits_{n = 1}^N {\beta _i^n{\mathit{\boldsymbol{s}}_n}} $

(18)

$ \mathit{\boldsymbol{v}} = \sum\limits_{i = 1}^T {{\mathit{\boldsymbol{v}}_i}} $

(19)

式中，$\beta _i^n$表示第$n$个字幕和第$i$帧之间的相似度。

式(18)表示第$i$帧的表示被所有字幕表示的加权和替代。电影片段级的表示$v$能够通过所有帧级表示{${\mathit{\boldsymbol{v}}_i}$}的加和得到。

当在电影问答任务中只使用视频信息而不使用字幕信息时，式(19)中帧级的表示{${\mathit{\boldsymbol{v}}_i}$}是式(16)的输出。这样片段级的表示从单词空间转换到字幕句子空间，然后用文献[12]中提到的方法进行电影问答任务，即

$ a = soft\mathit{max}\left( {{{\left( {\mathit{\boldsymbol{v}} + \mathit{\boldsymbol{u}}} \right)}^{\rm{T}}}\mathit{\boldsymbol{g}}} \right) $

(20)

式中，$\mathit{\boldsymbol{u}}$表示问题向量，$\mathit{\boldsymbol{g}}$={${g_1}$, ${g_2}$, …, ${g_5}$}和${g_h}$分别表示问题中的所有答案和第$h$个答案。问题和答案的表示都是通过静态单词记忆${W_e}$嵌入得到。需要注意的是静态单词记忆在表示电影视频帧的区域特征、句子中的单词时是共享的。每个电影的字幕记忆都不相同。因此单词记忆是静态的，字幕记忆是动态的。同时上面所提到的静态单词记忆和动态字幕记忆都只有一个记忆层。

总地来说，层叠记忆网络^[49]具有以下优点：1)分别用静态单词记忆和动态字幕记忆得到区域特征和帧级特征，而不是学习联合嵌入矩阵。分层的帧级和片段级表示包含更丰富的语义信息，并在电影问答中获得良好的性能。2)通过利用准确的单词和字幕信息表示每一个区域和帧级特征，在回答问题的过程中该模型能够支持精确的推理。

2.3 外在记忆驱动下的创意：文本生成图像

2.3.1 视觉线索抽取

RPN由文献[61]提出，通过对锚点区域框进行排名和优化，以生成最有可能包含对象的候选块。在RPN之后，ROI (region of interest)池化用于将不同大小的CNN特征图标准化为相同大小。ROI池化的输出将作为视觉线索。

文献[60]从MSCOCO训练数据集图像中提取了大约320 000个候选块以构建知识库。候选块的选取过程如图 12所示。每个候选块都是1 024维的语义向量。当一个图像中有超过5个候选块时，只保留最有可能是物体的前5个候选块。

图 12 视觉记忆候选块的抽取

Fig. 12 The extraction of proposals to build visual-knowledge memory

2.3.2 多媒体编码

2.3.3 图像迭代生成

得到多模态隐向量后，将其输入给生成器，作为生成器的条件，约束生成器的生成结果，在实验中有两个生成器，前者生成64×64像素的图像，并输出给下一个生成器，第2个生成器则会输出256×256像素的最终图像。两个生成器都使用生成对抗模型的框架进行训练，相应地，每个生成器都对应一个判别器，判别器用于指导生成器的生成。具体框架如图 13。在生成的第1阶段，增强文本嵌入$\varphi {\left( t \right)^\prime }$和随机采样的$m$个proposal将被编码为多模态表示${{\mathit{\boldsymbol{\hat c}}}_0}$。此特征向量将指导大小为64×64像素图像的生成。对于阶段Ⅱ，来自第1阶段的多模态表示${{\hat c}_0}$将和新采样的$m$个proposal一起被编码，输出${{\mathit{\boldsymbol{\hat c}}}_1}$。第1阶段生成的图像经过下采样后和${{\mathit{\boldsymbol{\hat c}}}_1}$连接并用于实际图像生成。

图 13 vmCAN的框架图

Fig. 13 Pipeline of the vmCAN

3 国内外研究进展比较

关于国内外记忆网络的研究进展，对近5年(2014—2018年)发表在机器学习与人工智能相关的国际顶级会议(ICML、NIPS、ICLR、AAAI、IJCAI、CVPR)上的论文进行调研，统计分析了题目包含“memory”的论文，统计结果如表 1所示。

表 1 2014—2018年国际顶级会议上关于记忆网络的论文数量统计
Table 1 Statistics of the number of the paper published on the top conference (2014—2018)

下载CSV

年份	ICML			NIPS			ICLR			AAAI			IJCAI			CVPR		总计
	国际	国内		国际	国内		国际	国内		国际	国内		国际	国内		国际	国内
2014	0	0		1	0		0	0		1	0		*	*		0	0	2
2015	1	0		6	0		1	0		2	0		1	0		0	0	11
2016	5	1		4	0		2	0		0	0		2	0		0	1	15
2017	1	0		5	0		2	0		4	0		4	3		4	1	24
2018	1	0		-	-		9	0		6	4		1	7		6	4	38
总计	8	1		16	0		15	0		13	4		7	10		10	6	90
注：*表示IJCAI会议未召开，-表示NIPS会议论文无法下载。

近5年来，国内外总共有90篇关于记忆网络的文章发表在上述的关于机器学习和人工智能的六大国际顶级会议中，统计调查以后，有以下发现：

1) 总体来讲，国际上关于记忆网络的研究领先于国内。在已发表的90篇文章中，其中69篇来自于国际，21篇来自于国内。且在认可度相对更高的ICML和NIPS上的文章数量，国际远多于国内。

2) 关于记忆网络的研究呈现快速增长趋势，且增长速度越来越快。2014年的时候只有2篇关于记忆网络的研究，但随后以每年10篇左右的增长趋势增长，2018年关于记忆网络的研究已经达到38篇，这其中还不包括NIPS 2018的文章。可以预见，之后两年关于记忆网络的研究会越来越多。

3) 上述的各大机器学习与人工智能的会议既包含了理论又包含了应用，但每年关于记忆网络研究的论文数量分布都较为均匀，体现了记忆网络的通用性，也从侧面说明了记忆网络研究的重要性。

4 发展趋势与展望

随着近几年记忆网络的发展，利用外部存储形式的机器学习方法(即记忆网络)已经成为新一代人工智能发展中不可或缺的一个方向。目前来看，记忆驱动的研究有以下发展趋势：

1) 关于记忆网络的研究越来越多。如前所述，国内外关于记忆网络的研究正在蓬勃发展，每年发表在机器学习与人工智能相关的各大顶级会议上的论文数量正在逐年攀升。

2) 关于记忆网络的研究越来越热。如前所述，不仅每年发表在各大顶级会议上的论文数量越来越多，且每年的增长趋势并没有放缓。如表 1所示，2015年增长了9篇，2016年增长了4篇，2017年增长了9篇，2018年增长了14篇。

3) 关于记忆网络的应用研究也越来越广泛，这得益于记忆网络的通用性，记忆网络已经成功地运用于自动问答、视觉问答、物体检测、强化学习、文本生成图像等各个领域。

回顾机器学习与人工智能的发展历史，可以发现机器学习与人工智能正在朝着深度学习和神经网络的方向发展。如表 2所示，从语言模型到神经语言模型，从贝叶斯学习到贝叶斯深度学习，从图灵机到神经图灵机，从强化学习到深度强化学习。可以预见，若有一种被称为“X”的方法，那将来很有可能出现一种“深度/神经+X”的方法。

表 2 一些机器学习的发展趋势
Table 2 Trends of some machine learning methods

下载CSV

浅层模型	深层模型
语言模型	神经语言模型
贝叶斯学习	贝叶斯深度学习
图灵机	神经图灵机
强化学习	深度强化学习
X	深度/神经+X

我们认为下一代的人工智能应该是从数据、经验并能自动推理的永不停息(never-ending)的学习^[63]。数据驱动的机器学习方法已经成功运用于自然语言、多媒体、计算机视觉、语音和跨媒体等领域，后续应通过例如注意力机制、记忆网络、迁移学习、强化学习等方式与人类知识进行有机结合，从而实现从浅层计算到深度推理、从单纯的数据驱动到数据驱动与逻辑规则相结合、从垂直领域的智能到更通用的人工智能。

参考文献

[1] Baddeley A. Working memory[J]. Science, 1992, 255(5044): 556–559. [DOI:10.1126/science.1736359]
[2] Goller C, Kuchler A. Learning task-dependent distributed representations by backpropagation through structure[C]//Proceedings of International Conference on Neural Networks. Washington, DC, USA: IEEE, 1996: 347-352.[DOI:10.1109/ICNN.1996.548916]
[3] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735–1780. [DOI:10.1162/neco.1997.9.8.1735]
[4] Chung J, Gulcehre C, Cho K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1412.3555.pdf
[5] Graves A, Wayne G, Danihelka I. Neural turing machines[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1410.5401.pdf.
[6] Jason W, Sumit C, Antoine B. Memory networks[C]//Proceedings of the International Conference on Representation Learning. San Diego, USA. 2015.
[7] Graves A, Wayne G, Reynolds M, et al. Hybrid computing using a neural network with dynamic external memory[J]. Nature, 2016, 538(7626): 471–476. [DOI:10.1038/nature20101]
[8] Hopfield J J. Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of the National Academy of Sciences of the United States of America, 1982, 79(8): 2554–2558. [DOI:10.1073/pnas.79.8.2554]
[9] Mikolov T, Karafi & #225;t M, Burget L, et al. Recurrent neural network based language model[C]//Proceedings of the 11th Annual Conference of the International Speech Communication Association. Makuhari, Chiba, Japan: ISCA, 2010.
[10] Zaremba W, Sutskever I. Learning to execute[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1410.4615.pdf.
[11] Weston J, Bengio S, Usunier N. WSABIE: scaling up to large vocabulary image annotation[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence. Barcelona, Catalonia, Spain: ACM, 2011: 2764-2770.[DOI:10.5591/978-1-57735-516-8/IJCAI11-460]
[12] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: ACM, 2012: 1097-1105.
[13] Graves A. Generating sequences with recurrent neural networks[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1308.0850.pdf.
[14] Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2014: 3104-3112.
[15] Fusi S, Drew P J, Abbott L F. Cascade models of synaptically stored memories[J]. Neuron, 2005, 45(4): 599–611. [DOI:10.1016/j.neuron.2005.02.001]
[16] Ganguli S, Huh D, Sompolinsky H. Memory traces in dynamical systems[J]. Proceedings of the National Academy of Sciences of the United States of America, 2008, 105(48): 18970–18975. [DOI:10.1073/pnas.0804451105]
[17] Kanerva P. Sparse Distributed Memory[M]. Cambridge: MIT Press, 1988.
[18] Amari S I. Characteristics of sparsely encoded associative memory[J]. Neural Networks, 1989, 2(6): 451–457. [DOI:10.1016/0893-6080(89)90043-9]
[19] Vinyals O, Fortunato M, Jaitly N. Pointer networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2015: 2692-2700.
[20] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1409.04735.pdf.
[21] Gregor K, Danihelka I, Graves A, et al. Draw: a recurrent neural network for image generation[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning. Lille, France: ACM, 2015.
[22] Hintzman D L. MINERVA 2:a simulation model of human memory[J]. Behavior Research Methods, Instruments, & Computers, 1984, 16(2): 96–101. [DOI:10.3758/BF03202365]
[23] Kumar A, Irsoy O, Ondruska P, et al. Ask me anything: dynamic memory networks for natural language processing[C]//Proceedings of the 33rd International Conference on International Conference on Machine Learning. New York, NY, USA: ACM, 2016: 1378-1387.
[24] Sukhbaatar S, Szlam A, Weston J, et al. End-to-end memory networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2015: 2440-2448.
[25] Magee J C, Johnston D. A synaptically controlled, associative signal for Hebbian plasticity in hippocampal neurons[J]. Science, 1997, 275(5297): 209–213. [DOI:10.1126/science.275.5297.209]
[26] Johnston S T, Shtrahman M, Parylak S, et al. Paradox of pattern separation and adult neurogenesis:a dual role for new neurons balancing memory resolution and robustness[J]. Neurobiology of Learning and Memory, 2016, 129: 60–68. [DOI:10.1016/j.nlm.2015.10.013]
[27] O'Reilly R C, McClelland J L. Hippocampal conjunctive encoding, storage, and recall:avoiding a trade-off[J]. Hippocampus, 1994, 4(6): 661–682. [DOI:10.1002/hipo.450040605]
[28] Howard M W, Kahana M J. A distributed representation of temporal context[J]. Journal of Mathematical Psychology, 2002, 46(3): 269–299. [DOI:10.1006/jmps.2001.1388]
[29] Jurczyk P, Agichtein E. Discovering authorities in question answer communities by using link analysis[C]//Proceedings of the 16th ACM conference on Conference on information and knowledge management. Lisbon, Portugal: ACM, 2007: 919-922.[DOI:10.1145/1321440.1321575]
[30] Li B C, Lyu M R, King I. Communities of Yahoo! answers and Baidu Zhidao: complementing or competing?[C]//Proceedings of 2012 International Joint Conference on Neural Networks. Brisbane, QLD, Australia: IEEE, 2012: 1-8.[DOI:10.1109/IJCNN.2012.6252435]
[31] Bilotti M W, Elsas J, Carbonell J, et al. Rank learning for factoid question answering with linguistic and semantic constraints[C]//Proceedings of the 19th ACM International Conference on Information and knowledge Management. Toronto, ON, Canada: ACM, 2010: 459-468.[DOI:10.1145/1871437.1871498]
[32] Wang M Q. A survey of answer extraction techniques in factoid question answering[J]. Computational Linguistics, 2006, 1(1): 1–14.
[33] Boyd-Graber J, Satinoff B, He H, et al. Besting the quiz master: crowdsourcing incremental classification games[C]//Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Jeju Island, Korea: ACM, 2012: 1290-1301.
[34] Iyyer M, Boyd-Graber J, Claudino L, et al. A neural network for factoid question answering over paragraphs[C]//Proceedings of 2014 Conference on Empirical Methods in Natural Language Processing. Doha, Qatar: ACL, 2014: 633-644.
[35] Zheng S C, Bao H Y, Zhao J, et al. A novel hierarchical convolutional neural network for question answering over paragraphs[C]//Proceedings of 2015 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology. Singapore: IEEE, 2015, 1: 60-66.[DOI:10.1109/WI-IAT.2015.20]
[36] Iyyer M, Manjunatha V, Boyd-Graber J, et al. Deep unordered composition rivals syntactic methods for text classification[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Beijing, China: ACL, 2015: 1681-1691.
[37] Carr C E. Processing of temporal information in the brain[J]. Annual Review of Neuroscience, 1993, 16: 223–243. [DOI:10.1146/annurev.ne.16.030193.001255]
[38] Ivry R B. The representation of temporal information in perception and motor control[J]. Current Opinion in Neurobiology, 1996, 6(6): 851–857. [DOI:10.1016/S0959-4388(96)80037-7]
[39] Schweppe J, Rummer R. Attention, working memory, and long-term memory in multimedia learning:an integrated perspective based on process models of working memory[J]. Educational Psychology Review, 2014, 26(2): 285–306. [DOI:10.1007/s10648-013-9242-2]
[40] Minsky M. The Society of Mind[M]. New York: Simon and Schuster, 1988.
[41] Duan X Y, Tang S L, Zhang S Y, et al. Temporality-enhanced knowledgememory network for factoid question answering[J]. Frontiers of Information Technology & Electronic Engineering, 2018, 19(1): 104–115. [DOI:10.1631/FITEE.1700788]
[42] Malinowski M, Rohrbach M, Fritz M. Ask your neurons: a neural-based approach to answering questions about images[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 1-9.[DOI:10.1109/ICCV.2015.9]
[43] Li L H, Tang S, Deng L X, et al. Image caption with global-local attention[C]//Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, California, USA: AAAI, 2017: 4133-4139.
[44] Pan P B, Xu Z W, Yang Y, et al. Hierarchical recurrent neural encoder for video representation with application to captioning[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 1029-1038.[DOI:10.1109/CVPR.2016.117]
[45] Wang M, Hong R C, Li G D, et al. Event driven web video summarization by tag localization and key-shot identification[J]. IEEE Transactions on Multimedia, 2012, 14(4): 975–985. [DOI:10.1109/TMM.2012.2185041]
[46] Yang Z W, Han Y H, Wang Z. Catching the temporal regions-of-interest for video captioning[C]//Proceedings of the 2017 ACM on Multimedia Conference. Mountain View, California, USA: ACM, 2017: 146-153.[DOI:10.1145/3123266.3123327]
[47] Xiong C M, Merity S, Socher R. Dynamic memory networks for visual and textual question answering[C]//Proceedings of the 33rd International Conference on Machine Learning. New York, NY, USA: PMLR, 2016: 2397-2406.
[48] Zhu Y K, Groth O, Bernstein M, et al. Visual7w: grounded question answering in images[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 4995-5004.[DOI:10.1109/CVPR.2016.540]
[49] Wang B, Xu Y J, Han Y H, et al. Movie question answering: remembering the textual cues for layered visual contents[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1804.09412.pdf.
[50] Tapaswi M, Zhu Y K, Stiefelhagen R, et al. Movieqa: understanding stories in movies through question-answering[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 4631-4640.[DOI:10.1109/CVPR.2016.501]
[51] Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space[J].[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1301.3781.pdf.
[52] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2014: 2672-2680.
[53] Nilsback M E, Zisserman A. Automated flower classification over a large number of classes[C]//Proceedings of the 6th Indian Conference on Computer Vision, Graphics & Image Processing. Bhubaneswar, India: IEEE, 2008: 722-729.[DOI:10.1109/ICVGIP.2008.47]
[54] Lin T Y, Maire M, Belongie S, et al. Microsoft coco: common objects in context[C]//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014: 740-755.[DOI:10.1007/978-3-319-10602-1_48]
[55] Reed S, Akata Z, Yan X C, et al. Generative adversarial text to image synthesis[C]//Proceedings of the 33rd International Conference on International Conference on Machine Learning. New York, NY, USA: ACM, 2016.
[56] Zhang H, Xu T, Li H S, et al. StackGAN: text to photo-realistic image synthesis with stacked generative adversarial networks[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017.
[57] Xu T, Zhang P C, Huang Q Y, et al. Attngan: Fine-grained text to image generation with attentional generative adversarial networks[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1711.10485.pdf
[58] Hong S, Yang D, Choi J, et al. Inferring semantic layout for hierarchical text-to-image synthesis[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018: 7986-7994.
[59] Ghazvininejad M, Brockett C, Chang M W, et al. A knowledge-grounded neural conversation model[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1702.01932.pdf
[60] Zhang S, Dong H, Hu W, et al. Text-to-Image synthesis via visual-memory creative adversarial network[C]//Proceedings of the 2018 Pacific-Rim Conference on Multimedia. Heifei, China: Springer, 2018.
[61] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2015: 91-99.
[62] Dong H, Yu S M, Wu C, et al. Semantic image synthesis via adversarial learning[EB/OL].[2018-08-15]. https://arxiv.org/pdf/1707.06873.pdf.
[63] Zhuang Y T, Wu F, Chen C, et al. Challenges and opportunities:from big data to knowledge in AI 2.0[J]. Frontiers of Information Technology & Electronic Engineering, 2017, 18(1): 3–14. [DOI:10.1631/FITEE.1601883]