2024年3月14日发(作者：)

第

３１

卷第

５

期

２０２０

年

１０

月

中原工学院学报

ＪＯＵＲＮＡＬＯＦＺＨＯＮＧＹＵＡＮＵＮＩＶＥＲＳＩＴＹＯＦＴＥＣＨＮＯＬＯＧＹ

Ｖｏｌ．３１

　

Ｎｏ．５

Ｏｃｔ．２０２０

（）

１６７１－６９０６２０２００５－００６６－０６

　　

文章编号：

基于语言模型的中文命名实体识别研究

张欣欣，刘小明，刘

　

研

（中原工学院计算机学院，河南郑州

４

）

５０００７

摘

　

要：如人名、地名、机构名、专有名词等。命名实体识别是信

　

命名实体识别是指识别文本中具有特定意义的实体，

息提取、问答系统、句法分析、机器翻译等领域的重要基础任务。现有的模型通常需要在大量标记良好的语料库上进行

然而，实际生活中往往很难获得足够的标注数据来训练模型。为了让模型在有限的数据集上获取充分的上下学习训练，

提出一种基于确定性自动编码器的模型架构，利用语言模型来充分捕获文本序列中的潜在语义信息。实验结果文信息，

表明，该方法在微软亚洲研究院和中文医疗文本命名实体识别数据集上都表现出良好的性能，

犉

０．６０％

１

值分别达到了

９

和

８３．７０％

。

关

　

键

　

词：自然语言处理；自动编码器；语言模型

　

命名实体识别；

中图分类号：：／

６４２

　　　

文献标志码：

ＯＩ１０．３９６９．ｉｓｓｎ．１６７１－６９０６．２０２０．０５．０１０

　

Ｇ

　

Ａ

　　　

Ｄ

ｊ

ＮａｍｅｄＥｎｔｉｔｅｃｏｎｉｔｉｏｎ

，

　　

命名实体识别（

ｙ

Ｒ

ｇ

［］

１

将文本中提到的命名实体定位并分类为预先

ＮＥＲ

）

如一般领域的人名、组织、位置、时间等，定义的类别，

生物医学领域的基因、蛋白质、药物和疾病名称等。作

］］

２３

］

４

、问答系统

［

、机器翻译

［

等下游应用的为信息检索

［

中所蕴涵的语义信息，提出一种基于语言模型的命名

即将自动编码器融合到传统的

Ｒ

实体识别框架，

ＮＮ

利用语言模型来辅助模型更好地获取上

ＣＲＦ

模型中，

从而达到更好的性能。为了验证模型的效下文信息，

果，在微软亚洲研究院（

Ｍ

命名实体识别数据集

ＳＲＡ

）

上进行了实验验证，并将其应用到了中文医疗文本上，

实验结果证明，本文方法可以显著提升模型的性能，且

具有良好的泛化能力。

重要预处理步骤，命名实体识别在近十年得到了广泛

的研究。

传统的命名实体识别方法采用隐马尔可夫模型

［［

５

］

６

］

（）和条件随机场（）等机器学习模型，

ＨＭＭｓＣＲＦｓ

需要为特定类型的事件定义规则和模板，且其特征函

数的质量直接决定输出的好坏，不适合对广义的大量

文本信息进行事件提取。近年来，基于神经网络的深

度学习模型取得了相当不错的效果。与传统算法相

基于神经网络的深度学习模型只需在大量的标注比，

数据集上进行适当的训练和调试，就能在测试集上得

到理想的决策结果。然而，由于数据集的标注通常需

导致现有的已标注好的要专业的知识和统一的标准，

数据集十分有限，极大地影响了模型的性能。

为了让模型在有限的标注数据集上充分理解数据

１

　

研究现状

基于深度学习的模型可以有效地从原始数据中自

动学习有用的表示和潜在信息，并通过梯度下降的方式

在端到端范例中进行训练。

ＺＨＯＵ

等采用一种基于多

阶段模型的中文命名实体识别系统，先使用字符级

ＣＲＦ

模型对文本进行分词，再用

３

个词级

ＣＲＦ

模型分别对

分词后的文本进行实体标注，在

ＭＳＲＡ

命名实体识别

［］

数据集上，

犉

６．５１％

７

。

ＣＨＥＮ

等使用条件

１

值达到了

８

随机场和最大熵判别器来识别中文文本中的实体，在

［］

ＭＳＲＡ

数据集上

犉

６．２％

８

。

ＤＯＮＧ

等在

１

值达到了

８

２０２０－０７－２０

　

收稿日期：

国家自然科学基金（）；河南省科技攻关项目（）

６１６７２３６１

，

６１７７２０２０１８２１０２２１０５１３

，

１８２１０２３１０９４５

，

１３２１０２２１０１８６

　

基金项目：

张欣欣，刘小明，刘研

．

基于语言模型的中文命名实体识别研究［］中原工学院学报，（）：

Ｊ．２０２０

，

３１５６６－７１．

　

引文格式：

，，

ＺＨＡＮＧＸｉｎｘｉｎＬＩＵＸｉａｏｍｉｎＬＩＵＹａｎ．ＡｓｔｕｄｎＣｈｉｎｅｓｅｎａｍｅｄｅｎｔｉｔｅｃｏｎｉｔｉｏｎｂａｓｅｄｏｎｌａｎｕａｅｍｏｄｅｌ

［

Ｊ

］

．Ｊｏｕｒｎａｌｏｆ

ｇｙ

ｏ

ｙ

ｒ

ｇｇｇ

，，（）：（）

ＺｈｏｎｕａｎＵｎｉｖｅｒｓｉｔｆＴｅｃｈｎｏｌｏ０２０３１５６６－７１０ｉｎＣｈｉｎｅｓｅ．

ｇｙｙ

ｏ

ｇｙ

２

　

第

５

期张欣欣，等：基于语言模型的中文命名实体识别研究

］

１７

资源上训练语言模型来进行域适应

［

。

·

６７

·

一个双向

ＬＳＴＭＣＲＦ

神经网络中同时引入字符级和

部首级表示，通过对比不同

Ｌ

找到

ＳＴＭ

变体的结果，

了最适合用于中文命名实体识别的

Ｌ

在没有

ＳＴＭ

块，

９

］

手工设计特征的情况下获得了较好的性能

［

。

本文采用语言模型对原始数据进行建模，以充分

利用标记数据和未标记数据所蕴含的复杂上下文语义

信息，提高命名实体识别的整体效果。

虽然基于单个任务的方式可以使模型达到可接受

但是忽略了不同任务之间的相关性。为了解的效果，

决这个问题，

ＹＡＮＧ

等提出了一种多任务联合模型，

通过对

ＰＯＳ

、

Ｃｈｕｎｋ

和

ＮＥＲ

任务进行联合训练来学

１０

］

习特定于语言的规则

［

。

ＺＨＡＯ

等提出了一种具有

可以适应不同的数据集，域自适应能力的多任务模型，

１１

］

获得了比单任务学习更好的学习效果

［

。

ＺＨＯＵ

等

２

　

基于语言模型的命名实体识别模型

２．１

　

问题描述

命名实体识别的目标是识别并抽取出预定义的实

体提及，属于序列标注问题。一个标准的序列标注问

给定一个由

狀

个元素组成的序列

犡

＝

题可以定义为：

（…，，标签序列

犢

＝

（…，，则域

狓狓狓

狔狔狔

１

，

２

，

狀

）

１

，

２

，

狀

）

（）（）

犻

是（的集合，对于每个域，都有一个

犇

＝

（

狓

犻

，

狓

，

狔

）

狔

）

犖

特定于域的标签集

犔

其中

犖

是标

犾

犱

＝

｛

犻

｝

＝１

与之对应，

犻

将中文命名实体识别构造成一个联合识别和分类任

同时执行边界识别和实体分类这两个子任务，实现务，

］

１２

了更准确的预测

［

。

与多任务方法共享模型参数不同的是，

ＬＥＥ

等在

再利用训练好的模型

ＮＥＲ

中先在源任务上训练模型，

］

１３

，取得了更好的效果。

Ｃ

对目标任务进行微调

［

ＡＯ

等

提出了一个新的对抗迁移学习框架，从分词任务中学习

共享的单词边界信息，同时引入自注意力机制来显式捕

捉句子中任意两个字符之间的长距离依赖关系，取得了

］

１４

较好的效果

［

。基于迁移学习的模型虽然可以将源域

签的个数。序列到序列学习的目的是直接对条件概率

建模，然后将输入序列（…，映射输

犘

（

狓

）

狓狓狓

狔

│

１

，

２

，

狀

）

出序列（…，，即：

狔狔狔

１

，

２

，

狀

）

…，

犢

＝

（

ｒａｘ

犘

（

狓

）

＝

ａ

ｇ

ｍ

狔狔狔狔

│

１

，

２

，

狀

）

狔

（）

１

２．２

　

模型概述

基于语言模型的命名实体识别模型总体结构如

图

１

所示。输入文本序列（…，，经过嵌入层和

狓狓狓

１

，

２

，

狀

）

［

８

］

被分别送入

Ｔ

的编码器层位置编码层后，

ｒａｎｓｆｏｒｍｅｒ

１

但是需要一个在大量的标记数据的知识迁移到目标域，

中训练好的模型，而实际生活中，标注数据通常是有限

的。为了解决这个问题，

ＲＥＩ

在训练过程中加入无监督

语言模型，通过预测数据集中每个单词周围的单词来提

］

１５

。

Ｌ

升序列标注模型的性能

［

ＩＵ

等提出了一个有效的

和自动编码器层。具体来说，模型左边的

Ｔｒａｎｓｆｏｒｍｅｒ

接着经过

ＢｉＬＥｎｃｏｄｅｒ

层捕获输入序列的语义信息，

同时，模型右

ＳＴＭ

和

ＣＲＦ

层输出每个序列的预测标签；

边的自动编码器层对输入序列的表示进行编码，获得输

入序列的上下文表示，然后对输入序列进行重构，确保

模型可以充分捕获文本序列中的潜在语义信息。

序列标记框架：利用神经语言模型来

ＬＭＬＳＴＭＣＲＦ

，

］

１６

提取字符级知识

［

。

ＪＩＡ

等通过在未标记数据语料库

图

１

　

基于语言模型的命名实体识别模型结构

··

中原工学院学报

２０２０

年

　

第

３１

卷

６８

２．２．１

　

输入层

输入层首先采用

ＢＥＲＴ

预训练的词向量

［

１８

］

来初

始化词嵌入（

ｗｏｒｄｅｍｂｅｄｄｉｎ

ｇ

）的权重，维度为

７６８

，词

表大小为所有文本。接着用不同频率的三角函数来计

算每个序列的位置编码，并将其添加到词嵌入中来帮

助模型获取单词的顺序，以更好地表达每个输入序列

的位置和不同单词间的距离信息。计算公式如下。

犘犈

（）

＝

ｓ

（

狅狊

／

２

犻

／

犱犻犿

狆

狅狊

，

２

犻

ｉｎ

狆

１００００

）（

２

）

犘犈

（

狆

狅狊

，

２

犻

＋

１

）

＝

ｃｏｓ

（

狆

狅狊

／

１００００

２

犻

／

犱犻犿

）（

３

）

式中：

狆

狅狊

表示输入序列的位置；

犱犻犿

表示模型的维

度，

犻

的范围为

０

～

（

犱犻犿

－１

）。

２．２．２

　

ＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒ

层

ＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒ

［

１８

］

层是由

６

个相同的层组

成的，每一层都包含多头自注意力机制和全连接前馈

神经网络

２

个模块，每个模块间都加入了残差连接，

并使用层归一化来减少训练时间。当编码器接收到

输入向量时，自注意力机制会通过加权求和的方式来

计算序列中每个单词的贡献度（式（

４

）），以帮助模型

关注语义上相关的上下文单词，同时弱化不相关的单

词表示。多头注意力机制是由多个自注意力机制拼

接而成的（式（

５

）、式（

６

）），它可以产生多个不同的向

量权重表示，经过拼接和矩阵乘法运算后获得的词向

量会包含更多的上下文信息。接着经由自注意力机

制得到的词向量被送入前馈神经网络，并将结果传入

下一层。

犃狋狋犲狀狋犻狅狀

（

犙

，

犓

，

犞

）

＝

ｓｏｆｔｍａｘ

（

犙犓

Ｔ

槡

犱犻犿

）

犞

（

４

）

犎犲犪犱

犻

＝

犃狋狋犲狀狋犻狅狀

（

犙

犠

犻

犙

，

犓犠

犻

犓

，

犞犠

犞

犻

）（

５

）

犕狌犾狋犻犎犲犪犱

（

犙

，

犓

，

犞

）

＝

犆狅狀犮犪狋

（

犎犲犪犱

１

，…，

犎犲犪犱

犺

）

（

６

）

式中：

犓

，

犞

，

犙

分别表示键、值矩阵和查询矩阵；

犠

犻

犙

，

犠

犻

犓

，

犠

犞

犻

为映射矩阵；

犱犻犿

为模型的维度；

犺

为多头注

意力机制头的个数。

２．２．３

　

ＤＡＥ

层

确定性自动编码器（

ＤｅｔｅｒｍｉｎｉｓｔｉｃＡｕｔｏｅｎｃｏｄｅｒ

，

ＤＡＥ

）

［

１９

］

是神经网络模型的一种，用于高维复杂数据

的处理。在处理文本序列时，通常用循环神经网络

（

ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ

，

ＲＮＮ

）对输入的序列进

行编码，将输入数据的高级特征映射到低级表征（本征

向量，

ｌａｔｅｎｔｖｅｃｔｏｒ

），解码器吸收数据的低级表征，然

后输出同样的高级表征。由于自动编码器是一种无监

督的学习方法，它的目标值等于输入值，因此既可以充

分利用无标注的数据，又能在最大程度上保持输入数

据的原有信息。

本文采用双向长短期记忆网络（

Ｂｉｄｉｒｅｃｔｉｏｎａｌ

Ｌｏｎ

ｇ

ＳｈｏｒｔｔｅｒｍＭｅｍｏｒ

ｙ

，

ＢｉＬＳＴＭ

）

［

７

］

对输入序列进

行计算，

ＢｉＬＳＴＭ

是

ＲＮＮ

的一种，通过门控状态来控

制传输状态，记住需要长时间记忆的信息，忘记不重要

的信息，可以有效解决长序列依赖和梯度消失、梯度爆

炸等问题。

ＢｉＬＳＴＭ

由前向

ＬＳＴＭ

（

Ｌ



Ｓ



ＴＭ

→

）和反向

ＬＳＴＭ

（

Ｌ

←

Ｓ



ＴＭ



）构成，分别从左到右和从右到左读取

输入序列，得到并保存每个时刻向前和向后隐含层的

输出。

ＢｉＬＳＴＭ

的输出

犺

狋

是由正向输出和反向输出

拼接得到的，即

犺

狋

＝

［

犺

→

狋

；

犺

←

狋



］。其中

犺

→

狋

＝Ｌ



Ｓ



ＴＭ

→

（

狓

狋

，



狋

→

－１

），

犺

←

狋



＝Ｌ

←

Ｓ



ＴＭ



（

狓

狋

，

犺

←

狋

＋



１

）。输入文本序列

犡

经过

ＤＡＥ

的编码器后，得到潜在表示向量

珗

犣

，即

珗

犣

＝

犳

（

犡

）

＝

（

犺

１

，…，

犺

狀

），

犳

（·）在这里表示

ＢｉＬＳＴＭ

。将学到的潜

在表示向量

珝

犣

送入

ＤＡＥ

的解码器，作为其初始状态

来重新学习

犡

在隐空间上的表示

犣

→

′

，最后将

犣

→

′

通过前

馈层，得到向量

犱

＝

（

犱

１

，

犱

２

，…，

犱

狋

，…，

犱

狀

），其中

犱

狋

＝

ｔａｎｈ

（

犠

犱

犺

狋

）（

７

）

式中：

ｔａｎｈ

为非线性激活函数；

犠

犱

为权重矩阵。

．２．４

　

输出层

采用标准条件随机场（

ＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍ

Ｆｉｅｌｄ

，

ＣＲＦ

）作为

ＮＥＲ

的输出层。

ＣＲＦ

是一种判别

式概率模型，在预测当前标签时，模型会通过特征函数

来学习输出序列的前后间关联，进而提高其预测能

力

［

６

］

。当

ＣＲＦ

接收到

ＤＡＥ

层输出的向量

犱

，每个标

签的输出概率

犘

（

狔

狋

│

犱

狋

）可以表示为：

犘

（

狔

犱

狋

·

犲

狅

，

犮

狋

│

犱

狋

）

犠

＝

∑

犱

·

犠

（

８

）

狅

，

犮′

犮′

∈

犆

狋

犲

式中：

犠

狅

，

犮

为输出权值矩阵

犠

狅

的第

犮

行；

犆

为所有可

能输出标签的集合。

．２．４

　

目标函数

在对命名实体识别任务的训练中，采用负对数似

然损失（式（

９

））；在对语言模型的训练中，使用重构损

失（式（

１０

））。式中

｜

犇

｜

表示域的大小。

犔

狀犲狉

＝－

１

狘

犇

狘

∑

犖

狋

＝

１

ｌｏ

ｇ

（

犘

（

狔

狋

│

犱

狋

））（

９

）

犑

狉犲犮

＝－

１

犖

狘

犇

狘

∑

狋

＝

１

ｌｏ

ｇ

（

犘

（

狓

狋

│

犱

狋

））（

１０

）

为了在数据集上对实体识别和语言建模进行联合

训练，模型的整体损失函数可表示为：

犔

＝

犔

狀犲狉

＋

λ

·

犑

狉犲犮

（

１１

）

式中：

λ

是超参数，表示语言模型的权重，经过多轮实

验验证，本文取

λ

＝１．２

。

犺

２

２

　

第

５

期张欣欣，等：基于语言模型的中文命名实体识别研究

··

３

　

实验

３．１

　

实验数据及预处理

在

ＭＳＲＡ

数据集上对命名实体识别进行实验验

证，并将模型应用到中文医疗文本（

ＣＣＫＳ２０２０

中文医

疗文本命名实体识别数据集）上，数据集统计见表

１

。

其中

ＭＳＲＡ

数据集包含

３

种命名实体：人名（

ＰＥＲ

）、

地名（

ＬＯＣ

）和组织（

ＯＲＧ

）；中文医疗文本包含

６

种实

体：疾病和诊断、影像检查、实验室检验、手术、药物和

解剖部位。

表

１

　

数据集统计信息

数据集类型训练集测试集

句子

４６．４ｋ４．４ｋ

ＭＳＲＡ

字符

２１６９ｋ１７２．６ｋ

句子

中文医疗文本

１．５ｋ－

字符

４３８．４ｋ－

实验采用标准的

ＩＯＢＥＳ

（

Ｂ

表示开始；

Ｉ

表示中

间；

Ｅ

表示结尾；

Ｓ

表示单个字符；

Ｏ

表示其他，用于标

记无关字符）标签方案对数据集进行字符级别的标记，

并用“，”对字符数大于

２００

的句子进行切分，将最大句

长控制在

２００

字符以内，以减少长距离遗忘。

３．２

　

评价指标

实验采用

ＥＭ

（

ＥｘａｃｔＭａｔｃｈ

）作为评测指标，即只

有当实体的边界和类型都被正确识别时，才被认为是

正确识别，可以采用精确率

犘

、召回率

犚

以及

犉

１

值来

计算得分。

犚

＝

犜犘

犜犘

＋

犉犖

（

１２

）

犘

＝

犜犘

犜犘

＋

犉犘

（

１３

）

犉

１

＝

２

×

犘犚

犘

＋

犚

（

１４

）

式中：

犜犘

为准确识别的实体数量；

犉犘

为已识别的非

实体数量；

犉犖

为未识别的实体数量。

３．３

　

实验设置

实验采用

Ａｄａｍ

算法作为模型的优化方法（

β

１

＝

０．９

；

β

２

＝０．９９９

；

犲

＝１Ｅ－８

），初始学习率为

１Ｅ－３

，

ｂａｔｃｈ

训练大小为

６４

。模型的

ＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒ

维度均为

７６８

，

ＢｉＬＳＴＭ

的循环单元均为

２５６

维，深度

均为

１

。为了避免梯度爆炸，梯度剪裁的值设为

５．０

。

实验对模型执行

１００

轮训练。

６９

本文以经典的

ＢｉＬＳＴＭ＋ＣＲＦ

模型作为基线，在

其基础上构建

３

种模型作为对比，用于验证

ＤＡＥ

和

ＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒ

对模型性能的促进作用。（

１

）在

基础框架上加入了

ＤＡＥ

，简称

ＤＡＥＢａｓｅ

；（

２

）在基础

框架上加入了

ＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒ

，简称

ＴｒａｎｓＥｎｃ

Ｂａｓｅ

；（

３

）在基础框架上同时融入了

ＤＡＥ

和

Ｔｒａｎｓ

ｆｏｒｍｅｒＥｎｃｏｄｅｒ

，简称

ＤＡＥＴｒａｎｓＥｎｃＢａｓｅ

，并在第

３

种

模型的基础上，将随机初始化的词嵌入改为

ＢＥＲＴ

预

训练的词向量。

３．４

　

实验结果分析

为了验证本文所构建的模型性能，将其与现有的模

型

［

７

，

８

，

１２

，

１４

］

进行了实验对比，结果如表

２

所示。文献［

７

］

在基于词的序列标注任务上，通过添加手工标注来辅

助学习句子的特征；文献［

８

］以字符为基础，利用条件

随机场和最大熵模型来共同识别中文文本中的实体；

文献［

１２

］将中文

ＮＥＲ

构造为一个联合任务，同时执

行边界识别和实体分类两个子任务；文献［

１４

］采用对

抗迁移学习的方法，将任务共享的词边界信息整合到

中文

ＮＥＲ

任务中以缓解数据量不足的问题，并使用

自注意力机制来捕获句子的全局依赖关系。虽然这几

种模型都在一定程度上提高了实体识别的

犉

１

值，但是

对文本序列中所蕴含的语义信息学习得还不够充分，导

致模型有一定的局限性。本文构建的

ＤＡＥＴｒａｎｓＥｎｃ

Ｂａｓｅ

模型融合了

ＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒ

和

ＤＡＥ

的优

点，可以帮助模型更充分地捕获上下文信息，提高实

体识别的性能。加入预训练的

ＢＥＲＴ

词向量后，不

同语境中的语义信息得到更充分地表示，模型的泛化

能力也进一步得到提升。与现有方法相比，虽然本文

模型还没有达到最优，但足以证明本文所提方法的有

效性。

　　

表

２

　

各模型在

ＭＳＲＡ

数据集上的

犉

１

值单位：

％

模型

犘犚犉

１

文献［

７

］

８８．９４８４．２０８６．５１

文献［

８

］

９１．２２８１．７１８６．２０

文献［

１２

］

９１．８６８８．７５９０．２８

文献［

１４

］

９１．７３８９．５８９０．６４

ＢｉＬＳＴＭ＋ＣＲＦ８９．３０８３．９０８６．５０

ＤＡＥＢａｓｅ８８．７０８５．５０８７．１０

ＴｒａｎｓＥｎｃＢａｓｅ８９．７０８９．３０８９．５０

ＤＡＥＴｒａｎｓＥｎｃＢａｓｅ９０．２０８９．９０９０．００

ＤＡＥＴｒａｎｓＥｎｃＢａｓｅ＋ＢＥＲＴ９２．２０８９．１０９０．６０

··

中原工学院学报

２０２０

年

　

第

３１

卷

７０

　　

为了验证本文模型（

ＤＡＥＴｒａｎｓＥｎｃＢａｓｅ＋ＢＥＲＴ

）

的鲁棒性，将其应用在中文医疗文本命名实体识别任

务上，实验结果如表

３

所示，模型的

犉

１

值达到了

８３．７％

，与基线结果（

７９．７％

）相比提升了

４％

，说明所

构建模型具有良好的泛化能力。进一步对医疗文本的

每一类实体进行分析，发现当实体数量较少时，模型不

能很好地识别出实体的边界情况，导致严格指标的

犉

１

值比较低；但是当实体数量比较多，即训练实体比较充

裕时，模型的识别效果较好。图

２

为本文模型与基线

模型在医疗命名实体识别任务上的

犉

１

值，其中灰色

表示本文模型，白色表示基线模型。从图

２

可以看出，

本文模型在每一类实体上的表现都优于基线，说明本

文所构建的模型能捕获更充分的上下文语义信息，提

高实体识别的准确度。

表

３

　

本文模型在中文医疗文本数据集上的

犉

１

值

单位：

％

实体类型

犘犚犉

１

疾病和诊断

８４．２７６．６８０．２

检查

８８．０８６．３８７．１

检验

８５．６８８．２８６．９

手术

８２．１８９．６８５．７

药物

９１．９８８．５９０．２

解剖部位

８２．７８３．５８３．１

平均

８４．４８３．０８３．７

图

２

　

本文模型与基线模型在医疗文本

数据集上不同实体的

犉

１

值

４

　

结语

本文提出了一种基于语言模型的中文命名实体识

别方法，用语言模型来辅助学习输入序列中包含的语

义信息，帮助模型充分地利用未标注的数据。由实验

对比结果可知，与基线模型相比，融入自动编码器之

后，模型在有限的标注数据集上可以更充分地理解输

入序列复杂的上下文信息，有效地提高了模型的性能。

但模型对数据所包含的结构化信息理解还不够充分，

未来的工作重心将放到如何让模型理解数据所包含的

语义信息和结构信息，同时考虑将合适的外部知识迁

移到模型里。

参考文献：

［

１

］

　

王癑

．

基于深度学习的命名实体识别研究［

Ｄ

］

．

昆明：云南

财经大学，

２０１９．

［

２

］

　

ＹＵＷ

，

ＹＩＭ

，

ＨＵＡＮＧＸ

，

ｅｔａｌ．Ｍａｋｅｉｔｄｉｒｅｃｔｌ

ｙ

：

Ｅｖｅｎｔ

ｅｘｔｒａｃｔｉｏｎｂａｓｅｄｏｎｔｒｅｅＬＳＴＭａｎｄＢｉＧＲＵ

［

Ｊ

］

．ＩＥＥＥ

Ａｃｃｅｓｓ

，

２０２０

，

８

：

１４３４４－１４３５４．

［

３

］

　

张芳容，杨青

．

知识库问答系统中实体关系抽取方法研究

［

Ｊ

］

．

计算机工程与应用，

２０２０

，

５６

（

１１

）：

２１９－２２４．

［

４

］

　

乔博文，李军辉

．

融合语义角色的神经机器翻译［

Ｊ

］

．

计算

机科学，

２０２０

，

４７

（

２

）：

１６３－１６８．

［

５

］

　

ＭＡＴＴＩＬＡＲ．Ｈｉｄｄｅｎｍａｒｋｏｖｍｏｄｅｌｓ

：

Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ

，

ｉｎ

ｖｅｒｓｅｆｉｌｔｅｒｉｎ

ｇ

ａｎｄａ

ｐｐ

ｌｉｃａｔｉｏｎｓ

［

Ｄ

］

．Ｓｔｏｃｋｈｏｌｍ

：

ＫＴＨ

Ｒｏ

ｙ

ａｌＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏ

ｇｙ

，

２０２０．

［

６

］

　

郑秋生，刘守喜

．

基于

ＣＲＦ

的互联网文本命名实体识别

研究［

Ｊ

］

．

中原工学院学报，

２０１６

，

２７

（

１

）：

７０－７３

，

９５．

［

７

］

　

ＺＨＯＵＪ

，

ＨＥＬ

，

ＤＡＩＸ

，

ｅｔａｌ．Ｃｈｉｎｅｓｅｎａｍｅｄｅｎｔｉｔ

ｙ

ｒｅｃｏ

ｇ

ｎｉｔｉｏｎｗｉｔｈａｍｕｌｔｉ

ｐ

ｈａｓｅｍｏｄｅｌ

［

Ｃ

］／／

Ｐｒｏｃｅｅｄｉｎ

ｇ

ｓｏｆ

ｔｈｅＦｉｆｔｈＳＩＧＨＡＮＷｏｒｋｓｈｏ

ｐ

ｏｎＣｈｉｎｅｓｅＬａｎ

ｇ

ｕａ

ｇ

ｅＰｒｏ

ｃｅｓｓｉｎ

ｇ

．Ｓｔｒｏｕｄｓｂｕｒ

ｇ

，

ＰＡ

：

ＡＣＬ

，

Ｐｒｅｓｓ

，

２００６

：

２１３－２１６．

［

８

］

　

ＣＨＥＮＡ

，

ＰＥＮＧＦ

，

ＳＨＡＮＲ

，

ｅｔａｌ．Ｃｈｉｎｅｓｅｎａｍｅｄｅｎｔｉｔ

ｙ

ｒｅｃｏ

ｇ

ｎｉｔｉｏｎｗｉｔｈｃｏｎｄｉｔｉｏｎａｌ

ｐ

ｒｏｂａｂｉｌｉｓｔｉｃｍｏｄｅｌｓ

［

Ｃ

］／／

Ｐｒｏｃｅｅｄｉｎ

ｇ

ｓｏｆｔｈｅＦｉｆｔｈＳＩＧＨＡＮＷｏｒｋｓｈｏ

ｐ

ｏｎＣｈｉｎｅｓｅ

Ｌａｎ

ｇ

ｕａ

ｇ

ｅＰｒｏｃｅｓｓｉｎ

ｇ

．Ｓｔｒｏｕｄｓｂｕｒ

ｇ

，

ＰＡ

：

ＡＣＬ

，

Ｐｒｅｓｓ

，

２００６

：

１７３－１７６．

［

９

］

　

ＤＯＮＧＣ

，

ＺＨＡＮＧＪ

，

ＺＯＮＧＣ

，

ｅｔａｌ．Ｃｈａｒａｃｔｅｒｂａｓｅｄ

ＬＳＴＭＣＲＦｗｉｔｈｒａｄｉｃａｌｌｅｖｅｌｆｅａｔｕｒｅｓｆｏｒＣｈｉｎｅｓｅｎａｍｅｄ

ｅｎｔｉｔ

ｙ

ｒｅｃｏ

ｇ

ｎｉｔｉｏｎ

［

Ｃ

］／／

ＮａｔｕｒａｌＬａｎ

ｇ

ｕａ

ｇ

ｅＵｎｄｅｒｓｔａｎｄｉｎ

ｇ

ａｎｄＩｎｔｅｌｌｉ

ｇ

ｅｎｔＡ

ｐｐ

ｌｉｃａｔｉｏｎｓ．Ｃｈａｍ

，

Ｓｗｉｔｚｅｒｌａｎｄ

：

Ｓ

ｐ

ｒｉｎ

ｇ

ｅｒ

，

２０１６

：

２３９－２５０．

［

１０

］

　

ＹＡＮＧＺ

，

ＳＡＬＡＫＨＵＴＤＩＮＯＶＲ

，

ＣＯＨＥＮＷ．Ｍｕｌｔｉ

ｔａｓｋｃｒｏｓｓｌｉｎ

ｇ

ｕａｌｓｅ

ｑ

ｕｅｎｃｅｔａ

ｇｇ

ｉｎ

ｇ

ｆｒｏｍｓｃｒａｔｃｈ

［

Ｚ

］

．

ａｒＸｉｖ

ｐ

ｒｅ

ｐ

ｒｉｎｔａｒＸｉｖ

：

１６０３．０６２７０

，

２０１６．

［

１１

］

　

ＺＨＡＯＨ

，

ＹＡＮＧＹ

，

ＺＨＡＮＧＱ

，

ｅｔａｌ．Ｉｍ

ｐ

ｒｏｖｅｎｅｕ

ｒａｌｅｎｔｉｔ

ｙ

ｒｅｃｏ

ｇ

ｎｉｔｉｏｎｖｉａｍｕｌｔｉｔａｓｋｄａｔａｓｅｌｅｃｔｉｏｎａｎｄ

ｃｏｎｓｔｒａｉｎｅｄｄｅｃｏｄｉｎ

ｇ

［

Ｃ

］／／

Ｐｒｏｃｅｅｄｉｎ

ｇ

ｓｏｆｔｈｅ２０１８Ｃｏｎ

ｆｅｒｅｎｃｅｏｆｔｈｅＮｏｒｔｈＡｍｅｒｉｃａｎＣｈａ

ｐ

ｔｅｒｏｆｔｈｅＡｓｓｏｃｉａ

ｔｉｏｎｆｏｒＣｏｍ

ｐ

ｕｔａｔｉｏｎａｌＬｉｎ

ｇ

ｕｉｓｔｉｃｓ

：

ＨｕｍａｎＬａｎ

ｇ

ｕａ

ｇ

ｅＴｅｃｈ

ｎｏｌｏ

ｇ

ｉｅｓ．Ｓｔｒｏｕｄｓｂｕｒ

ｇ

，

ＰＡ

：

ＡＣＬＰｒｅｓｓ

，

２０１８

：

３４６－３５１．

　

第

５

期张欣欣，等：基于语言模型的中文命名实体识别研究

·

７１

·

［］，

１２ＨＯＵＪＱＵＷ

，

ＺＨＡＮＧＦ．Ｃｈｉｎｅｓｅｎａｍｅｄｅｎｔｉｔｒｅｃｏ

　

Ｚ

ｙｇ

ｎｉｔｉｏｎｖｉａ

ｊ

ｏｉｎｔｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄｃａｔｅｏｒｉｚａｔｉｏｎ

［

Ｊ

］

．

ｇ

，（）：

ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＥｌｅｃｔｒｏｎｉｃｓ２０１３

，

２２２２２５－２３０．

［］

１３ＬＥＥＪＹ

，

ＤＥＲＮＯＮＣＯＵＲＴＦ

，

ＳＺＯＬＯＶＩＴＳＰ．Ｔｒａｎｓ

　

ｆｅｒｌｅａｒｎｉｎｏｒｎａｍｅｄｅｎｔｉｔｅｃｏｎｉｔｉｏｎｗｉｔｈｎｅｕｒａｌ

ｇ

ｆ

ｙ

ｒ

ｇ

［／／

Ｃ

］

ＰｒｏｃｅｅｄｉｎｓｏｆｔｈｅＥｌｅｖｅｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌｎｅｔｗｏｒｋｓ

ｇ

ＣｏｎｆｅｒｅｎｃｅｏｎＬａｎｕａｅＲｅｓｏｕｒｃｅｓａｎｄＥｖａｌｕａｔｉｏｎ．

ｇｇ

，

ＥＬＡＲＰｒｅｓｓ２０１８．ＬｕｘｅｍｂｏｕｒＲ

：

ｇ

Ｆ

［］，

Ｃ１４ＡＯＰＨＥＮＹ

，

ＬＩＵＫ

，

ｅｔａｌ．Ａｄｖｅｒｓａｒｉａｌｔｒａｎｓｆｅｒ

　

Ｃ

ｌｅａｒｎｉｎｏｒＣｈｉｎｅｓｅｎａｍｅｄｅｎｔｉｔｅｃｏｎｉｔｉｏｎｗｉｔｈ

ｇ

ｆ

ｙ

ｒ

ｇ

／／

ｓｅｌｆａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ

［

Ｃ

］

Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ２０１８

ｇ

ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｕａｅ

ｐｇｇ

，

Ｐ

，：

Ｐｒｏｃｅｓｓｉｎ．ＳｔｒｏｕｄｓｂｕｒＡ

：

ＡＣＬＰｒｅｓｓ２０１８１８２－

ｇｇ

１９２．

［］

１５ＥＩＭ．Ｓｅｍｉｓｕｅｒｖｉｓｅｄｍｕｌｔｉｔａｓｋｌｅａｒｎｉｎｏｒｓｅｕｅｎｃｅ

　

Ｒ

ｐｇ

ｆ

ｑ

［／／

ｌａｂｅｌｉｎＣ

］

Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ５５ｔｈＡｎｎｕａｌＭｅｅｔｉｎｆ

ｇｇｇ

ｏ

ｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｕｔａｔｉｏｎａｌＬｉｎｕｉｓｔｉｃｓ．Ｓｔｒｏｕｄｓ

ｐｇ

，，

ｂｕｒＰＡ

：

ＡＣＬＰｒｅｓｓ２０１７

：

２１２１－２１３０．

ｇ

［］，

１６ＩＵＬ

，

ＳＨＡＮＧＪＲＥＮＸ

，

ｅｔａｌ．Ｅｍｏｗｅｒｓｅｕｅｎｃｅｌａｂｅｌｉｎ

　

Ｌ

ｐｑｇ

［／／

ｗｉｔｈｔａｓｋａｗａｒｅｎｅｕｒａｌｌａｎｕａｅｍｏｄｅｌＣ

］

ＴｈｉｒｔＳｅｃ

ｇｇｙ

ｏｎｄＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｅｎｃｅ．Ｍｅｎｌｏ

ｇ

，，

ＰａｒｋＣＡ

：

ＡＡＡＩＰｒｅｓｓ２０１８

：

５２５３－５２６０．

［］

１７ＩＡＣ

，

ＬＩＡＮＧＸ

，

ＺＨＡＮＧＹ．ＣｒｏｓｓｄｏｍａｉｎＮＥＲｕｓｉｎ

　

Ｊ

ｇ

［／／

ｃｒｏｓｓｄｏｍａｉｎｌａｎｕａｅｍｏｄｅｌｉｎＣ

］

Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ

ｇｇｇｇ

５７ｔｈＡｎｎｕａｌＭｅｅｔｉｎｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｕｔａ

ｇ

ｏ

ｐ

，

Ｐ

，

ｔｉｏｎａｌＬｉｎｕｉｓｔｉｃｓ．ＳｔｒｏｕｄｓｂｕｒＡ

：

ＡＣＬ

，

Ｐｒｅｓｓ

ｇｇ

２０１９

：

２４６４－２４７４．

［］，：

１８ＥＶＬＩＮＪＣＨＡＮＧＭＷ

，

ＬＥＥＫ

，

ｅｔａｌ．ＢｅｒｔＰｒｅ

　

Ｄ

ｔｒａｉｎｉｎｆｄｅｅｉｄｉｒｅｃｔｉｏｎａｌｔｒａｎｓｆｏｒｍｅｒｓｆｏｒｌａｎｕａｅ

ｇ

ｏ

ｐ

ｂ

ｇｇ

［／／

Ｃ

］

Ｐｒｏｃｅｅｄｉｎｓｏｆｔｈｅ２０１９Ｃｏｎｆｅｒｅｎｃｅｕｎｄｅｒｓｔａｎｄｉｎ

ｇｇ

ｏｆｔｈｅＮｏｒｔｈＡｍｅｒｉｃａｎＣｈａｔｅｒｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒ

ｐ

，

ＰＣｏｍｕｔａｔｉｏｎａｌＬｉｎｕｉｓｔｉｃｓ．ＳｔｒｏｕｄｓｂｕｒＡ

：

ＡＣＬ

，

ｐｇｇ

，

Ｐｒｅｓｓ２０１９

：

４１７１－４１８６．

［］

１９ＬＨＡＲＴＤＥ

，

ＨＩＮＴＯＮＧＥ

，

ＷＩＬＬＩＡＭＳＲＪ．

　

ＲＵＭＥ

［］

ＬｅａｒｎｉｎｅｒｅｓｅｎｔａｔｉｏｎｓｂａｃｋｒｏａａｔｉｎｒｒｏｒｓＪ．

ｇ

ｒ

ｐｙ

ｂ

ｐｐｇｇ

ｅ

，（）：

Ｎａｔｕｒｅ１９８６

，

３２３６０８８５３３－５３６．

作者简介：张欣欣（，女，硕士研究生，主要研究方向为

１９９５－

）

自然语言处理。

Ｅ

：

ｍａｉｌ２０１８００７０８８

＠

ｚｕｔ．ｅｄｕ．ｃｎ

通信作者：刘小明（，男，讲师，博士，主要研究方向为自

１９７９－

）

然语言理解、中文信息处理和机器学习。

Ｅ

：

ｍａｉｌｍｉｎ６１６

＠

ｇ

ｚｕｔ．ｅｄｕ．ｃｎ

（责任编辑：苏安婕）

犃狊狋狌犱狀犆犺犻狀犲狊犲狀犪犿犲犱犲狀狋犻狋犲犮狅狀犻狋犻狅狀犫犪狊犲犱狅狀犾犪狀狌犪犲犿狅犱犲犾

狔

狅

狔

狉

犵犵犵

，，

ＺＨＡＮＧＸｉｎｘｉｎＬＩＵＸｉａｏｍｉｎＬＩＵＹａｎ

ｇ

（，，）

ＳｃｈｏｏｌｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅＺｈｏｎｕａｎＵｎｉｖｅｒｓｉｔｆＴｅｃｈｎｏｌｏＺｈｅｎｚｈｏｕ４５０００７

，

Ｃｈｉｎａ

ｐｇｙｙ

ｏ

ｇｙｇ

：

犃犫狊狋狉犪犮狋ａｍｅｄｅｎｔｉｔｅｃｏｎｉｔｉｏｎ

（

ＮＥＲ

）

ｒｅｆｅｒｓｔｏｉｄｅｎｔｉｆｉｎｈｅｅｎｔｉｔｉｅｓｉｎｔｈｅｔｅｘｔｔｈａｔｈａｖｅａ

ｐ

ａｒｔｉ

　

Ｎ

ｙ

ｒ

ｇｙｇ

ｔ

，，，，，

ｌａｃｅｓｒｏｅｒｎｏｕｎｓｓｕｃｈａｓｔｈｅｎａｍｅｓｏｆ

ｐ

ｅｏｌｅｉｎｓｔｉｔｕｔｉｏｎｓｅｔｃ．Ｉｔｉｓａｎｉｍｏｒｔａｎｔｂａｓｉｃｃｕｌａｒｍｅａｎｉｎ

ｐｐｐｐｐｇ

，，

ｓｎｔａｃｔｉｃａｎａｌｓｉｓｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｔａｓｋｉｎｔｈｅｆｉｅｌｄｓｏｆｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｕｅｓｔｉｏｎａｎｄａｎｓｗｅｒｓｓｔｅｍ

，

ｑｙｙｙ

ａｎｄｓｏｏｎ．Ｍｏｓｔｏｆｔｈｅｅｘｉｓｔｉｎｏｄｅｌｓｕｓｕａｌｌｅｅｄｔｏｂｅｌｅａｒｎｅｄａｎｄｔｒａｉｎｅｄｏｎａｌａｒｅｎｕｍｂｅｒｏｆｗｅｌｌｍａｒｋｅｄ

ｇ

ｍ

ｙ

ｎ

ｇ

，，

ｃｏｒｏｒａ．Ｈｏｗｅｖｅｒｉｎｍａｎａｓｅｓｉｔｉｓｈａｒｄｔｏｏｂｔａｉｎｓｕｆｆｉｃｉｅｎｔａｎｎｏｔａｔｉｏｎｓｔｏｔｒａｉｎｔｈｅｓｅｍｏｄｅｌｓ．Ｉｎｏｒｄｅｒｔｏ

ｐｙ

ｃ

，

ｏｂｔａｉｎｓｕｆｆｉｃｉｅｎｔｃｏｎｔｅｘｔｉｎｆｏｒｍａｔｉｏｎｏｎｔｈｅｌｉｍｉｔｅｄｄａｔａｓｅｔａｍｏｄｅｌａｒｃｈｉｔｅｃｔｕｒｅｂａｓｅｄｏｎｄｅｔｅｒｍｉｎｉｓｔｉｃａｕｔｏｅｎ

，

ｗｃｏｄｅｒｉｓ

ｐ

ｒｏｏｓｅｄｈｉｃｈｕｓｅｓｌａｎｕａｅｍｏｄｅｌｔｏｆｕｌｌａｔｕｒｅｔｈｅ

ｐ

ｏｔｅｎｔｉａｌｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎｉｎｔｅｘｔ

ｐｇｇｙ

ｃ

ｐ

ｓｅｕｅｎｃｅ．Ｔｈｅｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅ

ｐ

ｒｏｏｓｅｄｍｅｔｈｏｄａｃｈｉｅｖｅｓ

ｇ

ｒｅａｔ

ｐ

ｅｒｆｏｒｍａｎｃｅｏｎＭｉｃｒｏｓｏｆｔ

ｑｐｐ

（，

ＭＳＲＡ

）

ａｎｄＣｈｉｎｅｓｅｍｅｄｉｃａｌｔｅｘｔｎａｍｅｄｅｎｔｉｔｅｃｏｎｉｔｉｏｎｄａｔａｓｅｔａｃｈｉｅｖｉｎｅａｓｕｒｅｏｆＲｅｓｅａｒｃｈＡｓｉａ

ｙ

ｒ

ｇｇ

犉

１

ｍ

９０．６０％ａｎｄ８３．７０％ｒｅｓｅｃｔｉｖｅｌ．

ｐｙ

：（；；；

犓犲狅狉犱狊ａｍｅｄｅｎｔｉｔｅｃｏｎｉｔｉｏｎＮＥＲ

）

ｎａｔｕｒａｌｌａｎｕａｅ

ｐ

ｒｏｃｅｓｓｉｎａｕｔｏｅｎｃｏｄｅｒｌａｎｕａｅｍｏｄｅｌ

　

ｎ

ｙ

ｒ

ｇｇｇｇｇｇ

狔

狑