说明:本文是自己阅读Finding Structure in Time期间,查找完整论文的讲解很少,于是自己打算将自己的理解整理下来。
文中的图片均来自论文Finding Structure in Time。
ABS
与我读过的其他摘要不同,这篇文章的摘要只是简单的说明了时间的重要性,同时介绍了一下现在时序模型的发展,并没有在摘要中指出自己的模型的厉害之处也没有指出其他模型的不足之处。
1 INTRO
指明应该采用显式的表示来表示时间
2 The Problem with Time
一种解决方法是通过独热编码来表示是哪一个时刻的输入。
存在几个问题:
- 使用了空间换取了时间
- 要求输入是等长的
- 不容易识别相对位置
2.1 Networks with Memory
之前Jordan提出了一个模型具有记忆能力,如Figure 1所示
作者对上面的模型进行了一些改进,就得到了本文使用的模型,如下图所示(Figure 2):
发布者:admin,转转请注明出处:http://www.yc00.com/web/1755047115a5232869.html
评论列表(0条)