Sun Y, Wang S, Li Y, et al. Ernie: Enhanced representation through knowledge integration[J]. arXiv preprint arXiv:1904.09223, 2019.
Abstract
知识增强的新语言表示模型
ERNIE 旨在学习通过知识掩蔽策略增强的语言表示，包括实体级掩蔽和短语级掩蔽。
实体级策略屏蔽了通常由多个单词组成的实体。 短语级策略隐藏了整个短语，它由几个单词组成一个概念单元。
Introduction
Word2V ec (Mikolov et al.， 2013)和Glove (Pennington et al.， 2014)中的方法将单词表示为向量，其中相似的单词有相似的单词表示。 这些词表示为其他深度学习模型中的词向量提供了初始化。
该模型无法根据哈利波特和 J.K.罗琳的关系预测哈利波特。直观的是，如果模型学习更多的先验知识，模型可以获得更可靠的语言表示。
除了基本的掩蔽策略外，我们还使用了两种知识策略：短语级策略和实体级策略。通过这种方式，在训练过程中隐含地学习了短语和实体的先验知识。
ERNIE 不是直接添加知识嵌入，而是隐式学习有关知识和较长语义依赖的信息，例如实体之间的关系、实体的属性和事件的类型，以指导词嵌入学习。这可以使模型具有更好的泛化性和适应性。
ERNIE在异构中文数据上进行了预训练，然后应用于5个中文NLP任务。
主要贡献：
- 引入了一种新的语言模型学习处理，它掩盖了短语和实体等单元，以便从这些单元中隐式地学习句法和语义信息。
- ERNIE 在各种中文自然语言处理任务上的表现明显优于以往最先进的方法。
- 我们发布了 ERNIE 和预训练模型的代码
发布者：admin，转转请注明出处：http://www.yc00.com/web/1755027536a5228477.html
评论列表（0条）