Finding Time in Structure 论文精读 RNN模型的雏形

说明:本文是自己阅读Finding Structure in Time期间,查找完整论文的讲解很少,于是自己打算将自己的理解整理下来。 文中的图片均来自论文Finding Structure in Time。 ABS 与我读过的其他摘要

说明:本文是自己阅读Finding Structure in Time期间,查找完整论文的讲解很少,于是自己打算将自己的理解整理下来。
文中的图片均来自论文Finding Structure in Time

ABS

与我读过的其他摘要不同,这篇文章的摘要只是简单的说明了时间的重要性,同时介绍了一下现在时序模型的发展,并没有在摘要中指出自己的模型的厉害之处也没有指出其他模型的不足之处。

1 INTRO

指明应该采用显式的表示来表示时间

2 The Problem with Time

一种解决方法是通过独热编码来表示是哪一个时刻的输入。

存在几个问题:

  • 使用了空间换取了时间
  • 要求输入是等长的
  • 不容易识别相对位置

2.1 Networks with Memory


之前Jordan提出了一个模型具有记忆能力,如Figure 1所示

作者对上面的模型进行了一些改进,就得到了本文使用的模型,如下图所示(Figure 2):

发布者:admin,转转请注明出处:http://www.yc00.com/web/1755047115a5232869.html

相关推荐

发表回复

评论列表(0条)

  • 暂无评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信