2024年4月24日发(作者：)

第３８卷第４期　　　

２０２１年４月　　

计算机应用与软件

ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ

Ｖｏｌ３８Ｎｏ．４

Ａｐｒ．２０２１

基于ＤＤＰＧ算法的海上无人救援技术研究

，２



郑　帅

１

　贾宝柱

１

　张昆阳

１

　张　程

１

１

（大连海事大学轮机工程学院　辽宁大连１１６０２６）

２

（广东海洋大学海运学院　广东湛江５２４０８８）

摘　要　　针对海上无人救援过程中遇险目标的漂移及如何快速靠近的问题，提出一种基于深度强化学习理论

的目标追踪算法，使无人搜救船在与环境交互的过程中学习到自主驾驶追踪漂移遇险目标的最优驾驶决策。在

ＳＡＲＴ的辅助下，通过自主学习能够使搜救船以最短的时间追踪到漂移遇险目标。在Ｇａｚｅｂｏ物理仿真器中建立

三维仿真环境，基于ＲＯＳ系统分别设计直线漂移轨迹和不规则漂移轨迹仿真实验，通过多次自主学习训练，验证

所提方法的有效性。

关键词　　深度强化学习　无人船　海上救援　目标追踪

中图分类号　ＴＰ２４９　　　　文献标志码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２１．０４．０２６

ＭＡＲＩＮＥＵＮＭＡＮＮＥＤＲＥＳＣＵＥＴＥＣＨＮＯＬＯＧＹＢＡＳＥＤ

ＯＮＤＤＰＧＡＬＧＯＲＩＴＨＭ

１１，２１１



ＺｈｅｎｇＳｈｕａｉ　ＪｉａＢａｏｚｈｕ　ＺｈａｎｇＫｕｎｙａｎｇ　ＺｈａｎｇＣｈｅｎｇ

１

（ＭａｒｉｎｅＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，ＤａｌｉａｎＭａｒｉｔｉｍｅＵｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ１１６０２６，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ）

（ＣｏｌｌｅｇｅｏｆＭａｒｉｔｉｍｅ，ＧｕａｎｇｄｏｎｇＯｃｅａｎＵｎｉｖｅｒｓｉｔｙ，Ｚｈａｎｊｉａｎｇ５２４０８８，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ）

２

Ａｂｓｔｒａｃｔ　　Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｏｆｄｒｉｆｔｉｎｇｄｉｓｔｒｅｓｓｔａｒｇｅｔａｎｄｔｈｅｗａｙｏｆａｐｐｒｏａｃｈｉｎｇｑｕｉｃｋｌｙｉｎｔｈｅｐｒｏｃｅｓｓｏｆ

ｕｎｍａｎｎｅｄｒｅｓｃｕｅａｔｓｅａ，ａｔａｒｇｅｔｔｒａｃｋｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｏｒｙｏｆｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｉｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ

ｍａｋｅｓｕｎｍａｎｎｅｄｒｅｓｃｕｅｖｅｓｓｅｌｌｅａｒｎｔｏａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇｔｏｔｒａｃｋｄｒｉｆｔｔａｒｇｅｔｏｐｔｉｍａｌｄｅｃｉｓｉｏｎｄｕｒｉｎｇｔｈｅｉｎｔｅｒａｃｔｉｏｎ

ｗｉｔｈｅｎｖｉｒｏｎｍｅｎｔ．ＷｉｔｈｔｈｅａｓｓｉｓｔａｎｃｅｏｆＳＡＲＴ，ｔｈｅｖｅｓｓｅｌｇｏｔｃｌｏｓｅｔｏｔｈｅｄｒｉｆｔｄｉｓｔｒｅｓｓｔａｒｇｅｔｉｎｓｈｏｒｔｅｓｔｔｉｍｅｔｈｒｏｕｇｈ

ｓｅｌｆｌｅａｒｎｉｎｇ．ＡｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｓｉｍｕｌａｔｉｏｎｅｎｖｉｒｏｎｍｅｎｔｗａｓｅｓｔａｂｌｉｓｈｅｄｉｎｔｈｅＧａｚｅｂｏｐｈｙｓｉｃｓｓｉｍｕｌａｔｏｒ．Ｔｈｅ

ｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓｏｆｌｉｎｅａｒｄｒｉｆｔｔｒａｊｅｃｔｏｒｙａｎｄｉｒｒｅｇｕｌａｒｄｒｉｆｔｔｒａｊｅｃｔｏｒｙｗｅｒｅｄｅｓｉｇｎｅｄｒｅｓｐｅｃｔｉｖｅｌｙｂａｓｅｄｏｎＲＯＳ．

Ｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｓｖｅｒｉｆｉｅｄｔｈｒｏｕｇｈｍｕｌｔｉｐｌｅｉｎｄｅｐｅｎｄｅｎｔｌｅａｒｎｉｎｇａｎｄｔｒａｉｎｉｎｇ．

Ｋｅｙｗｏｒｄｓ　　Ｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ　Ｕｎｍａｎｎｅｄｓｕｒｆａｃｅｖｅｈｉｃｌｅ　Ｍａｒｉｔｉｍｅｒｅｓｃｕｅ　Ｔａｒｇｅｔｔｒａｃｋｉｎｇ

２］

０℃海水中最长存活时间仅为１２分钟

［

，即使遇险人

０　引　言

海上应急救援往往受海况恶劣、时间紧迫等因素

限制，救援成功的关键在于遇险目标位置的确定和如

何快速靠近遇险目标。海上遇险目标会随着风、浪、流

的作用而发生漂移，由于各种海洋漂浮物的受风面积

与水下面积不尽相同，即使在同一风场与流场中，落水

１］

。相关研究表明，落水人员物的漂移轨迹也不相同

［

员能够利用救生艇、筏等延长存活时间，但也受到淡

水、食物等补给限制。

目前，海上救援主要依靠人工的经验驾驶船舶应

对海上多变的复杂环境追踪遇险目标，但是海上环境

恶劣，使执行救援任务时有较高的安全风险。随着船

舶无人驾驶技术的发展，海上无人救援研究受到了广

３］

泛重视

［

。

针对遇险目标位置漂移问题，多数研究采用了预

４］

结合风场和测遇险目标漂移轨迹的办法。旷芳芳等

［

在２０℃海水中最长存活时间为１６小时２０分钟，而在

２０１９－０９－１７。国家自然科学基金项目（５１４７９０１７，５２０７１０９０）。郑帅，硕士生，主研领域：轮机工程。贾宝柱，教授。收稿日期：

张昆阳，硕士生。张程，硕士生。

　

　１６０　　　计算机应用与软件

换关系为：

ｏｓｉｎ

φ

－ｓ

φ

０



ｃ



Ｊ（）＝



η

ｏｓｉｎ

φ

－ｃ

φ

０



ｓ





０



０１

（３）

２０２１年

流场的数值模拟，给出了落水人员和救生筏的风致漂

移系数，用于预测落水人员以及救生筏的实时位置。

５］

基于ＭＭＧ模型研究了风、浪、流的作用下刘同木等

［

６］

船舶的漂移数学模型。Ｇａｏ等

［

通过蒙特卡洛方法在

疑似马航３７０航班遇难海域对其残骸的漂移轨迹进行

预测。漂移模型预测方法的不足在于无法找到一个通

用的预测模型对不同漂移目标的位置进行预测。同

时，已有的多数研究工作仅仅关注预测方法准确度，却

没有考虑遇险目标的快速追踪及靠近的问题。根据

１．２　状态空间设计

为追踪到不同的遇险目标，使算法具有一定的泛

化性，搜救船的环境模型需要考虑遇险目标的位置，得

到遇险目标与搜救船的相对位置关系，这种关系包括

以及船舶的首向与二者连线方向的二者之间的距离ｄ

ＳＯＬＡＳ公约规定，每艘救生艇、筏要求至少配备一台

搜救雷达应答器（ＳｅａｒｃｈａｎｄＲｅｓｃｕｅＲａｄａｒＴｒａｎｓｐｏｎ

ｄｅｒ，ＳＡＲＴ），用来近距离确定遇难船舶、救生艇、救生

筏，以及幸存者位置

［７］

。因此，实际救援场景中更可靠

的是根据ＳＡＲＴ所提供的实时目标位置信号开展

营救。

当遇险目标的位置已知，就要考虑如何快速靠近

遇险目标的问题。Ｐａｒｋ等

［８］

基于视觉的估计和制导

方法，控制无人机追踪移动目标。李静等

［９］

提出交通

道路网络环境下的局部搜索树移动目标追踪算法。

Ｗｏｏ等

［１０］

设计了强化学习控制器，使无人船具备了自

主路径跟踪的能力。本文尝试将ＤＤＰＧ深度强化学习

算法应用于海上无人救援，结合ＳＡＲＴ所提供遇险目

标位置信号，设计了基于机器人操作系统

［１１］

（Ｒｏｂｏｔ

ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ，ＲＯＳ）仿真实验平台。在Ｇａｚｅｂｏ物理

仿真器中模拟水文环境以及船舶的运动特性，使搜救

无人船在感知环境信息的同时，通过对不同漂移轨迹

的落水物进行追踪实验，训练其追踪漂移遇险目标的

能力。

１　目标跟踪算法设计

１．１　船舶运动模型

一般情况下，船舶运动研究通常只考虑三个自由

度的运动，通过Ｇａｚｅｂｏ插件实现双体船操纵的非线性

运动学模型，船舶操纵公式

［１２］

如下：

Ｍｖ＋Ｃ（ｖ）ｖ＋Ｄ（ｖ）ｖ＝

τ

＋

τ

ｅｎｖ

（１）

η

＝Ｊ（

η

）ｖ（２）

式中：Ｍ是惯性矩阵；Ｃ（ｖ）是科里奥利矩阵；Ｄ（ｖ）是

阻尼矩阵；

τ

是推进系统产生的力和力矩向量；

τ

ｅｎｖ

是

通过Ｇａｚｅｂｏ插件模拟的风、浪、流干扰力；向量

η

描述

了惯性参考系北（Ｎ）、东（Ｅ）中的位置和绕Ｚ轴的转

首角度

φ

；

η

＝［ｘ，ｙ，

φ

］

Ｔ

和向量ｖ包含船体固定坐标

系中的船体的纵向速度ｕ、横向速度ｖ和转首角速度ｒ，

即ｖ＝［ｕ，ｖ，ｒ］

Ｔ

。船体坐标系到惯性坐标系的坐标转

夹角

φ

，环境模型状态如图１所示，定义状态ｓ为：

ｓ＝［ｄ，

φ

］

Ｔ

（４）

图１　状态示意图

当搜救船捕获到ＳＡＲＴ反射的雷达信号，在雷达

屏幕上形成１２个一连串的光点，这种显示方式用来区

别于其他雷达回波信号，其中最靠近雷达中心点的光

点便是遇险目标的位置（ｘ

ｔ

，ｙ

ｔ

）。另外，通过船舶运动

模型计算我们船的位置信息（ｘ

ｖ

，ｙ

ｖ

），可以计算出二者

之间的距离ｄ。

ｄ＝

槡

（ｔ

ｔ

－ｙ

ｖ

）

２

＋（ｘ

ｔ

－ｘ

ｖ

）

２

（５）

φ

＝

φ

１

－

φ

２

（－１８０＜

φ

，

φ

１

，

φ

２

≤

１８０）；

φ

１

通过模

型计算得出，其为首向角，即船首方向与正北方向的夹

角；

φ

２

为遇险目标和搜救船的相对方位，即二者连线

与正北方向的夹角。

φ

２

＝ａｒｃｔａｎ（（ｘ

ｔ

－ｘ

ｖ

）／（ｙ

ｔ

－ｙ

ｖ

））（６）

１．３　动作空间设计

对环境状态的改变依赖于智能体通过驱动装置使

船舶发生运动，双体船通过电机指令驱动两个螺旋桨

产生差速推力来驱动搜救船移动。动作空间由一组电

机指令组成，指令发布时间间隔为１ｓ，定义动作空间ａ

为：

ａ＝｛［ｍ＋ｎ，ｍ－ｎ］

Ｔ

｜ｍ

∈

［－０．５，０．５］，ｎ

∈

［－０．５，０．５］｝

（７）

式中：ｍ表示双体船的双桨转速值；ｎ表示左右螺旋桨

差动值。参考文献［１２］中的系柱实验得出的单浆推力

与电机指令之间映射关系，得到搜救船的驱动力

τ

，根

据船舶操纵模型以及坐标转换公式可以计算出当前指

令执行后船舶的位置姿态。

　

第４期　　　郑帅，等：基于ＤＤＰＧ算法的海上无人救援技术研究　１６１

１．４　奖励函数设计

由于救援任务具有时间相关性，所以奖励函数的

设计需要考虑时间与距离因素。奖励函数用ｒ

ｔ

表示。

ｒ

２　

ｔ

＝

－

{

２－０．０１×ｔ　ｄ小于救援任务成功条件

搜救船触及搜救范围边界

（８）

（ｄ）＋

ζ

（）　其他

ξφ

ｔ

－ｄ

ｔ－１ｔ

－

φ

ｔ－１

图２　样本采集过程

式中：ｔ表示时间环境反馈奖励值为（２－０．０１×ｔ），设

计成为时间相关函数，目的是引导搜救船用尽量短的

算法具体流程如下：

时间完成追踪任务；ｄ

ｔ

表示当前采样获得的搜救船与

遇险目标的距离；ｄ

ｔ－１

表示上一次采样的距离。将上一

次的距离与当前的距离做差，如果当前距离比上次距

离短，差值为正，反之为负，

φ

角同理，这种设计目的是

引导搜救船朝着遇险目标的方向逐渐靠近，获得相对

较高的奖励值。

２　ＤＤＰＧ算法

环境观测值与动作值由深度确定性策略梯度下降

（ＤｅｅｐＤｅｔｅｒｍｉｎｉｓｔｉｃＰｏｌｉｃｙＧｒａｄｉｅｎｔ，ＤＤＰＧ）

［１３］

算法进

行处理。ＤＤＰＧ算法需要两套神经网络，分别为主网

络与目标网络。每套网络都由一个Ａｃｔｏｒ（演员）网络

与一个Ｃｒｉｔｉｃ（评论家）网络构成。两套网络的网络结

构完全相同，只是参数不同。

该算法是在梯度下降法的基础上，对ＡｃｔｏｒＣｒｉｔｉｃ

算法进行改进，将输出动作选择概率转变为输出确定

动作值的强化学习算法，这个确定性的ｚｓ９１５１２１动作

是随机策略梯度的极限值。ＡｃｔｏｒＣｒｉｔｉｃ算法框架由两

个网络构成，包含了以求解值函数为核心的Ｃｒｉｔｉｃ网

络，还有以策略为核心的Ａｃｔｏｒ网络。其中Ａｃｔｏｒ网络

的输入为状态矩阵，输出确定的动作值ａ

ｔ

，而Ｃｒｉｔｉｃ网

络的输入为动作值ａ

ｔ

与状态值ｓ

ｔ

，输出动作的Ｑ值，Ｑ

值对当前回合的一系列动作策略做出评价，因此，训练

该网络的过程是判断动作策略优劣的学习过程，通过

训练，得出Ｑ值最大的一系列动作策略。

每一步采集的样本（ｓ

ｔ

，ａ

ｔ

，ｒ，ｓ

ｔ＋１

）输入到主网络

中训练，采样过程如图２所示，同时开辟一个记忆库来

存储采样的结果，目标网络则随机抽取记忆库中的数

据作为输入，记忆库的数据不断更新，切断了样本数据

间的相关性。主网络的参数通过回合更新的方式，若

干回合后，将主网络参数赋值给目标网络，进行目标网

络的参数更新。

（１）构建Ａｃｔｏｒ网络与Ｃｒｉｔｉｃ网络，主网络参数分

别为

θ

μ

、

θ

Ｑ

，并进行随机初始化。Ｃｒｉｔｉｃ网络得到的Ｑ值

为Ｑ（ｓ，ａ｜

θ

Ｑ

），Ａｃｔｏｒ网络得到状态到动作的映射

μ

（ｓ

｜

θ

μ

）。

（２）通过网络参数

θ

μ

、

θ

Ｑ

来初始化所要求解的目

标网络的参数

θ

μ

′

、

θ

Ｑ′

，同时开辟一个记忆库存储空间。

（３）初始化状态ｓ

１

，通过主网络加上高斯扰动Ｎ

ｔ

，

从动作库中选择一个动作ａ

ｔ

进行探索：

ａ

ｔ

＝ｕ（ｓ｜

θ

μ

）＋Ｎ

ｔ

（９）

（４）执行该动作，得到相应的奖励ｒ

ｔ

和下一个状

态ｓ

ｔ＋１

，并且形成元组（ｓ

ｔ

，ａ

ｔ

，ｒ

ｔ

，ｓ

ｔ＋１

），作为一条采样值

存到记忆库存储空间中。

（５）通过当前网络Ｑ（ｓ，ａ｜

θ

Ｑ

）进行估计，同时从

记忆库中选取一小批元组数据，通过Ｂｅｌｌｍａｎ方程对Ｑ

值进行估计，估计结果表示为：

ｑ（ａ

ｉ

）＝ｒ

ｉ

＋

γ

Ｑ（ｓ

μ

′Ｑ′

ｉ＋１

，

μ

（ｓ

ｔ＋１

｜

θ

）｜

θ

）（１０）

式中：

γ

表示折扣率，反映未来估计的奖励对当前决策

的影响程度，如果

γ

＝０，则不考虑未来任何价值；如果

γ

＝１，则未来的价值不会随时间衰减。

将计算出的两个值做差，得到损失函数ＴＤ＿ｅｒｒｏｒ。

然后使用梯度下降法对Ｃｒｉｔｉｃ网络的参数进行更新。

（６）主要采取策略梯度的方式进行Ａｃｔｏｒ网络的

更新，即：



θ

Ｊ（

θ

）

≈

１

μ

Ｎ

∑



ａ

Ｑ（ｓ，ａ｜

θ

Ｑ

）｜

ｓ＝ｓ，ａ＝（ｓ）

ｉ

ｉ

μ

ｉ

×



θ

μ

μ

（ｓ｜

θ

μ

）｜

ｓ

ｉ

（１１）

在得到策略梯度后，通过最大化期望奖励的方式对总

奖励进行梯度上升更新参数。

（７）若干回合后，将主网络的参数赋值给目标网

络，对目标网络参数更新。

{

θ

Ｑ′

←

κθ

Ｑ

＋（１－

κ

）

θ

Ｑ′

θ

μ

′

←

κθ

μ

＋（１－

κ

）

θ

μ

′

（１２）

算法结构如图３所示。

　

　１６２　　　计算机应用与软件２０２１年

要一定的时间，设置样本采集的时间间隔为１ｓ。记忆

库的容积为１００００，批数据的容量为６４。奖励函数的

系数为

ξ

，均为１，目标网络更新参数

κ

为０．０１。

ζ

３．２　实验设计及结果分析

３．２．１　直线轨迹目标追踪

从图５中可以看出，实验初期（前２００回合），由于

图３　ＤＤＰＧ算法结构图

使用ＴｅｎｓｏｒＦｌｏｗ搭建Ａｃｔｏｒ网络和Ｃｒｉｔｉｃ网络，

Ａｃｔｏｒ网络的输入为状态矩阵，网络结构有两个隐藏

层，每个隐藏层的节点分别为４００、３００，输出动作矩

阵。将状态矩阵输入到Ｃｒｉｔｉｃ网络中，该网络第二层

有４００个节点，第三层有３００个节点。动作矩阵也输

入到Ｃｒｉｔｉｃ网络，第二层有３００个神经元节点，并将状

态空间矩阵输入的网络的第三层神经元与动作矩阵输

入的网络的第二层神经元节点合并进行线性变换，输

入到第四层网络神经元节点上，该层共有３００个神经

元节点，最后输出动作的Ｑ值。网络的所有神经元节

点之间的连接方式均为全连接方式，网络结构图如图

４所示。

图４　ＡｃｔｏｒＣｒｉｔｉｃ网络结构图

３　实　验

３．１　实验平台

实验设计基于ＲＯＳ，在Ｇａｚｅｂｏ物理仿真器中创建

三维实验环境与智能体，模拟海上救援场景，设定环境

场景边界为５０×５０的范围，初始状态下搜救船位于

（０，０）的位置，并在环境扰动的干扰下运动，遇险目标

位于（２０，１０）的位置。当搜救船与遇险目标的距离小

于５时，视为满足成功救援的条件。Ａｃｔｏｒ网络的学习

率为０．０００１，Ｃｒｉｔｉｃ网络的学习率为０．００１，折扣因子

为０．９９。每次实验的总回合数为１０００，每个回合最

多采集２００个样本数据，由于搜救船执行电机指令需

探索的概率比较大，这一阶段搜救船在探索环境，采集

环境样本数据，很难准确追踪到遇险目标，平均Ｑ值

Ｑ

ａ

也较低，只有少数成功的情况，Ｑ值较高。从图６中

可以看出，这一阶段用时都相对较长。实验中期

（２００～５００回合），随着样本数量的累积，逐渐建立起

了奖励函数与动作策略之间的联系，搜救船从探索环

境知识逐渐转为利用环境知识，逐渐可以追踪到遇险

目标，算法快速收敛，但是会走一些弯路。随着训练的

不断深入，搜救船会不断地调整自己的运动趋势，以最

短的时间靠近遇险目标，最终Ｑ

ａ

稳定在１０，平均时长

ｔ

ａ

稳定在７０ｓ。从Ｑ值以及时间的变化趋势来看，算

法符合救援过程中时间紧迫性的要求。

图５　

Ｑ值以及平均Ｑ值（Ｑ

ａ

）

变化曲线一

图６　回合时长以及平均时长

（ｔ

ａ

）

变化曲线一

从三个阶段中选取第１０５回合、第２６３回合、第

６３４回合，以及第９７５回合训练过程进行分析，如图７

所示，分别对应（ａ）、（ｂ）、（ｃ）、（ｄ）的四幅轨迹图，其

中虚线轨迹为搜救船的运动轨迹，实线轨迹为遇险目

标的漂移轨迹。可以看出只有第１０５回合训练失败，

结合图５可以看出，奖励值最低，其他三个回合均成功

追踪到了遇险目标。随着训练深入，第２６３、第６３４、第

９７５回合搜救船的轨迹渐短，Ｑ值越高，结合图６可以

看出所用的时间也越来越短。

　

第４期　　　郑帅，等：基于ＤＤＰＧ算法的海上无人救援技术研究　１６３

图７　搜救船及遇险目标运动轨迹一

在Ｇａｚｅｂｏ仿真环境中可以观察到以上四个回合

结束时搜救船与遇险目标的相对位置如图８所示，其

中黑色的圆点为回合结束时遇险目标的位置。

图８　回合结束时Ｇａｚｅｂｏ场景一

由图９可以直观地看出上述四个回合的样本的实

时奖励值变化趋势。第１０５回合（曲线ａ）奖励值多数

情况下是负数，表明搜救船一直在远离遇险目标，因此

Ｑ值比较低，为－２１。而第９７５回合（曲线ｄ）则每一

个动作都是在靠近遇险目标，因此奖励值很高，高达

２０．４。其他两个回合（曲线ｂ和曲线ｃ）均有正有负，

表明追踪过程有远离的情况，这两个过程中的动作策

略不是最优的策略。从图７的轨迹图中也可以看出这

一点，证明奖励函数的设计可以引导搜救船快速追踪

到救援目标，是有效的。

图９　单个回合奖励值随时间的变化曲线对比一

３．２．２　不规则轨迹目标追踪

由于不同落水物体在海上的轨迹不同，为证明算

法的有效性，补充了不规则轨迹落水物的追踪实验。

从图１０中可以看出与直线轨迹追踪实验结果相似，随

着环境状态样本采样数量的增加，搜救船由探索环境

转变为利用环境知识，从第２００回合开始算法逐渐收

敛；平均Ｑ值（Ｑ

ａ

）逐渐增加，最终稳定在１５左右。从

图１１中可以看出完成任务所需的平均时间（ｔ

ａ

）逐渐

减少，用时较少的回合可达２８ｓ。由此可见，尽管不同

的遇险目标漂移的轨迹不同，甚至轨迹变得不规则，搜

救船仍然可以通过ＤＤＰＧ算法达到快速追踪到遇险目

标的目的，算法仍能够收敛。

图１０　

Ｑ值以及平均Ｑ值（Ｑ

ａ

）

变化曲线二

图１１　回合时长以及平均时长

（ｔ

ａ

）

变化曲线二

选择第５０、第３３０、第８４０、第９１５回合，运动轨迹

分别如图１２（ａ）、（ｂ）、（ｃ）、（ｄ）所示，同样虚线轨迹为

搜救船的运动轨迹，实线轨迹为遇险目标的漂移轨迹。

第５０回合中搜救船没有能够追踪到遇险目标，而第

３３０、第８４０、第９１５回合均完成了对遇险目标的追踪任

务，并且第９１５回合的轨迹是最短的，用时最少，Ｑ值

也是最高的。

　

　１６４　　　计算机应用与软件２０２１年

４　结　语

在海上无人救援过程中，针对遇险目标漂移问题，

本文提出一种基于ＤＤＰＧ算法的目标追踪方法，本文

所做的研究工作及相应结论可为实船实验提供参考。

主要结论如下：

（１）分析了强化学习算法应用于海上无人救援情

图１２　搜救船及遇险目标运动轨迹二

上述四个回合在回合结束时，Ｇａｚｅｂｏ中显示的相

对位置如图１３所示，黑点表示回合结束时遇险目标的

位置。

图１３　回合结束时Ｇａｚｅｂｏ场景二

通过对以上四个回合中的每一次采样获得的奖励

值变化进行分析，如图１４所示。从曲线ｅ可以看出，

算法未建立起奖励函数与动作策略之间的关系，与遇

险目标的距离时远时近，曲线在０附近波动。而曲线

ｇ和曲线ｈ表示在这两个回合中每次采样的奖励值大

多位于０．５以上，表明搜救船与遇险目标正在快速靠

近，再一次说明奖励函数的设计是有效的。

图１４　单个回合奖励值随时间的变化曲线对比二

景的技术难点，在未知遇险目标的漂移模型情况下，当

获取遇险目标与自身相对位置时，算法可以使搜救船

自主做出恰当的操纵决策，以较短的时间靠近遇险目

标，通过直线漂移轨迹的遇险目标追踪实验和不规则

漂移轨迹的遇险目标追踪仿真实验得以验证。

（２）将强化学习算法与海上实际救援情况相结

合，设计状态、动作空间、相应的奖励函数，奖励函数的

设计考虑了时间因素与距离因素。经过仿真实验验

证，奖励函数能够引导无人搜救船快速地追踪到遇险

目标，并且具有一定的泛化性，符合海上搜救时间紧迫

性的要求以及目标追踪距离逐渐缩短的要求。

参考文献

［１］钟铭．国家海上搜救手册［Ｍ］．大连：大连海事大学出版

社，２０１１．

［２］黄敏东．论海上遇险黄金救援时间［Ｊ］．世界海运，２０１４，

３７（１１）：３３－３５．

［３］宋杰，闻佳．无人船技术在海事的应用［Ｊ］．中国海事，

２０１５（１０）：４７－５０．

［４］旷芳芳，靖春生，张俊鹏．基于观测和模型的风致漂移系

数研究［Ｊ］．应用海洋学学报，２０１７，３６（１）：４１－４８．

［５］刘同木，刘在科，余建星，等．船舶漂移运动轨迹模型及其

实船试验验证［Ｊ］．船舶力学，２０１８，２２（１１）：１３１５－１３２２．

［６］ＧａｏＪ，ＭｕＬ，ＢａｏＸ，ｅｔａｌ．ＤｒｉｆｔａｎａｌｙｓｉｓｏｆＭＨ３７０ｄｅｂｒｉｓｉｎ

ｔｈｅｓｏｕｔｈｅｒｎｉｎｄｉａｎｏｃｅａｎ［Ｊ］．ＦｒｏｎｔｉｅｒｓｏｆＥａｒｔｈＳｃｉｅｎｃｅ，

２０１８，１２（３）：４６８－４８０．

［７］周华峰，王佐良．一次救助经历和体会［Ｊ］．航海技术，

２００３（４）：１４．

［８］ＰａｒｋＳ，ＪｕｎｇＤ．Ｖｉｓｉｏｎｂａｓｅｄｔｒａｃｋｉｎｇｏｆａｇｒｏｕｎｄｍｏｖｉｎｇ

ｔａｒｇｅｔｗｉｔｈＵＡＶ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＡｅｒｏｎａｕｔｉｃａｌ

ａｎｄＳｐａｃｅＳｃｉｅｎｃｅｓ，２０１９，（２）：４６７－４８２．

［９］李静，王楠，许铜华，等．基于局部搜索树的ＵＡＶ与ＵＧＳ

协同移动目标追踪方法［Ｊ］．电光与控制，２０１９，２６（１）：

１－７．　

［１０］ＷｏｏＪ，ＹｕＣ，ＫｉｍＮ．Ｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｂａｓｅｄｃｏｎ

ｔｒｏｌｌｅｒｆｏｒｐａｔｈｆｏｌｌｏｗｉｎｇｏｆａｎｕｎｍａｎｎｅｄｓｕｒｆａｃｅｖｅｈｉｃｌｅ［Ｊ］．

ＯｃｅａｎＥｎｇｉｎｅｅｒｉｎｇ，２０１９，１８３：１５５－１６６．

（下转第２５５页）

　

第４期　　　王维美，等：基于卷积神经网络的知识图谱补全方法研究　２５５

（２）本文方法可以对普通知识图谱和领域性知识

图谱进行补全，同时也可以应用到查询系统，比如建模

三元组（查询，用户，文档），通过查找三元组中缺失的

实体或关系，将缺失的实体或关系以三元组的形式添

加到数据库中，从而对数据库进行补全扩充。

另外，针对得到的实体或关系与已有实体关系存

在不相容或冲突问题：使用本文方法判断不同三元组

得分，利用分数判断三元组正确性；使用实体或关系对

齐模型来判断不同三元组的正确性，若三元组正确，则

［Ｃ］／／５３ｒｄＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅ

ｄｙｎａｍｉｃｍａｐｐｉｎｇｍａｔｒｉｘ

ＡＣＬ．ＡＣＬ，２０１５：６８７－６９６．

［１１］刘知远，孙茂松，林衍凯，等．知识表示学习研究进展

Ｊ］．计算机研究与发展，２０１６，５３（２）：２４７－２６１．［

［１２］林海伦，王元卓，贾岩涛，等．面向网络大数据的知识融

Ｊ］．计算机学报，２０１７（１）：３－２９．合方法综述［

［１３］ＳｏｃｈｅｒＲ，ＣｈｅｎＤＱ，ＭａｎｎｉｎｇＣＤ，ｅｔａｌ．Ｒｅａｓｏｎｉｎｇｗｉｔｈ

ｎｅｕｒａｌｔｅｎｓｏｒｎｅｔｗｏｒｋｓｆｏｒｋｎｏｗｌｅｄｇｅｂａｓｅｃｏｍｐｌｅｔｉｏｎ［Ｃ］／／

Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌ

ＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．ＡＣＭ，２０１３：９２６－９３４．

在知识图谱中可以共存，比如：姚明亦指大姚（别名）。

为提高三元组补全正确率，今后的研究将尝试修

改卷积神经网络内部架构，对三元组特征提取作更深

入的研究；将实体和关系的描述文本融入到卷积神经

网络中，作为算法的输入。

参考文献

［１］丁建辉，贾维嘉．知识图谱补全算法综述［Ｊ］．信息通信

技术，２０１８（１）：５６－６２．

［２］谢刚．知识图谱精化研究综述［Ｊ］．电子技术应用，２０１８，

４４（９）：２９－３３，３８．

［３］刘峤，李杨，杨段宏，等．知识图谱构建技术综述［Ｊ］．计

算机研究与发展，２０１６，５３（３）：５８２－６００．

［４］ＫｉｍＹ．Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｎｔｅｎｃｅｃｌａｓｓｉｆｉ

ｃａｔｉｏｎ［ＥＢ］．ａｒＸｉｖ：１４０８．５８８２，２０１４．

［５］ＺｅｎｇＤ，ＬｉｕＫ，ＬａｉＳ，ｅｔａｌ．Ｒｅｌａｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｖｉａｃｏｎ

ｖｏｌｕｔｉｏｎａｌｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ［Ｃ］／／ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒ

ｅｎｃｅｏｎＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ，２０１４：２３３５－２３４４．

［６］ＮｇｕｙｅｎＤＱ，ＮｇｕｙｅｎＴＤ，ＮｇｕｙｅｎＤＱ，ｅｔａｌ．Ａｎｏｖｅｌｅｍ

ｂｅｄｄｉｎｇｍｏｄｅｌｆｏｒｋｎｏｗｌｅｄｇｅｂａｓｅｃｏｍｐｌｅｔｉｏｎｂａｓｅｄｏｎｃｏｎｖ

ｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ［Ｃ］／／ＴｈｅＮｏｒｔｈＡｍｅｒｉｃａｎＣｈａｐｔｅｒ

ｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．ＡＣＭ，

２０１８：３２７－３３３．

［７］ＢｏｒｄｅｓＡ，ＵｓｕｎｉｅｒＮ，ＧａｒｃｉａＤｕｒａｎＡ，ｅｔａｌ．Ｔｒａｎｓｌａｔｉｎｇ

ｅｍｂｅｄｄｉｎｇｓｆｏｒｍｏｄｅｌｉｎｇｍｕｌｔｉｒｅｌａｔｉｏｎａｌｄａｔａ［Ｃ］／／Ｐｒｏｃｅｅｄ

ｉｎｇｓｏｆｔｈｅ２６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａ

ｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓ，２０１３：２７８７－

２７９５．　

［８］ＷａｎｇＺ，ＺｈａｎｇＪＷ，ＦｅｎｇＪＬ，ｅｔａｌ．Ｋｎｏｗｌｅｄｇｅｇｒａｐｈｅｍ

ｂｅｄｄｉｎｇｂｙｔｒａｎｓｌａｔｉｎｇｏｎｈｙｐｅｒｐｌａｎｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ

ｔｈｅ２８ｔｈＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ．ＡＡＡＩ

Ｐｒｅｓｓ，２０１４：１１１２－１１１９．

［９］ＬｉｎＹＫ，ＬｉｕＺＹ，ＳｕｎＭＳ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｅｎｔｉｔｙａｎｄｒｅｌａ

ｔｉｏｎｅｍｂｅｄｄｉｎｇｓｆｏｒｋｎｏｗｌｅｄｇｅｇｒａｐｈｃｏｍｐｌｅｔｉｏｎ［Ｃ］／／Ｐｒｏ

ｃｅｅｄｉｎｇｓｏｆｔｈｅ２９ｔｈＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉ

ｇｅｎｃｅ．ＡＡＡＩＰｒｅｓｓ，２０１５：２１８１－２１８７．

［１０］ＪｉＧ，ＨｅＳ，ＸｕＬ，ｅｔａｌ．Ｋｎｏｗｌｅｄｇｅｇｒａｐｈｅｍｂｅｄｄｉｎｇｖｉａ

［１４］ＸｉｅＲＢ，ＬｉｕＺＹ，ＪｉａＪ，ｅｔａｌ．Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｌｅａｒｎｉｎｇｏｆ

ｋｎｏｗｌｅｄｇｅｇｒａｐｈｗｉｔｈｅｎｔｉｔｙｄｅｓｃｒｉｐｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ

ｏｆｔｈｅＴｈｉｒｔｉｅｔｈＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ．

ＡＡＡＩＰｒｅｓｓ，２０１６：２６５９－２６６５．

［１５］ＨａｍａｇｕｃｈｉＴ，ＯｉｗａＨ，ＳｈｉｍｂｏＭ，ｅｔａｌ．Ｋｎｏｗｌｅｄｇｅｔｒａｎｓ

ｆｅｒｆｏｒｏｕｔｏｆｋｎｏｗｌｅｄｇｅｂａｓｅｅｎｔｉｔｉｅｓ：Ａｇｒａｐｈｎｅｕｒａｌｎｅｔ

ｗｏｒｋａｐｐｒｏａｃｈ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ

ＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ．ＡＡＡＩＰｒｅｓｓ，２０１７：

１８０２－１８０８．

［１６］ＹａｎｇＢ，ＹｉｈＷＴ，ＨｅＸ，ｅｔａｌ．Ｅｍｂｅｄｄｉｎｇｅｎｔｉｔｉｅｓａｎｄ

ｒｅｌａｔｉｏｎｓｆｏｒｌｅａｒｎｉｎｇａｎｄｉｎｆｅｒｅｎｃｅｉｎｋｎｏｗｌｅｄｇｅｂａｓｅｓ［ＥＢ］．

ａｒＸｉｖ：１４１２．６５７５，２０１４．

［１７］ＴｒｏｕｉｌｌｏｎＴ，ＷｅｌｂｌＪ，ＲｉｅｄｅｌＳ，ｅｔａｌ．Ｃｏｍｐｌｅｘｅｍｂｅｄｄｉｎｇｓ

ｆｏｒｓｉｍｐｌｅｌｉｎｋｐｒｅｄｉｃｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３３ｒｄ

ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａ

ｃｈｉｎｅＬｅａｒｎｉｎｇ，２０１６：２０７１－２０８０．

［１８］ＤｅｔｔｍｅｒｓＴ，ＭｉｎｅｒｖｉｎｉＰ，ＳｔｅｎｅｔｏｒｐＰ，ｅｔａｌ．Ｃｏｎｖｏｌｕｔｉｏｎａｌ

２Ｄｋｎｏｗｌｅｄｇｅｇｒａｐｈｅｍｂｅｄｄｉｎｇｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ

ＡＡＡＩ，２０１８：１８１１－１８１８．

［１９］ＫｉｎｇｍａＤ，ＢａＪ．Ａｄａｍ：Ａｍｅｔｈｏｄｆｏｒｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａ

ｔｉｏｎ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ

ＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ，２０１５．

［２０］ＴｏｕｔａｎｏｖａＫ，ＣｈｅｎＤ．Ｏｂｓｅｒｖｅｄｖｅｒｓｕｓｌａｔｅｎｔｆｅａｔｕｒｅｓｆｏｒ

ｋｎｏｗｌｅｄｇｅｂａｓｅａｎｄｔｅｘｔｉｎｆｅｒｅｎｃｅ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ

３ｒｄＷｏｒｋｓｈｏｐｏｎＣｏｎｔｉｎｕｏｕｓＶｅｃｔｏｒＳｐａｃｅＭｏｄｅｌｓａｎｄｔｈｅｉｒ

Ｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ，２０１５：５７－６６．



（上接第１６４页）

［１１］张福海，李宁，袁儒鹏，等．基于强化学习的机器人路径规

划算法［Ｊ］．华中科技大学学报（自然科学版），２０１８，４６

（１２）：６５－７０．

［１２］ＳａｒｄａＥＩ，ＱｕＨ，ＢｅｒｔａｓｋａＩＲ，ｅｔａｌ．Ｓｔａｔｉｏｎｋｅｅｐｉｎｇｃｏｎｔｒｏｌ

ｏｆａｎｕｎｍａｎｎｅｄｓｕｒｆａｃｅｖｅｈｉｃｌｅｅｘｐｏｓｅｄｔｏｃｕｒｒｅｎｔａｎｄｗｉｎｄ

ｄｉｓｔｕｒｂａｎｃｅｓ［Ｊ］．ＯｃｅａｎＥｎｇｉｎｅｅｒｉｎｇ，２０１６，１２７：３０５－３２４．

［１３］ＬｉｌｌｉｃｒａｐＴＰ，ＨｕｎｔＪＪ，ＰｒｉｔｚｅｌＡ，ｅｔａｌ．Ｃｏｎｔｉｎｕｏｕｓｃｏｎｔｒｏｌ

ｗｉｔｈｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ［ＥＢ］．ａｒＸｉｖ：１５０９．

０２９７１，２０１５．