2023年6月30日发(作者：)

无人机视觉自主着陆仿真验证系统时间延迟测定研究

吴成富;钱全;陈怀民;马松辉;王亮

【摘 要】介绍了无人机视觉自主着陆仿真验证系统,无人机视觉自主着陆半实物仿真试验一般采用视景生成平台与实时监控仿真平台组成的双机闭环仿真系统结构,由于此种双机结构,两平台之间的数据交换产生的实时同步问题对半实物仿真试验的可信度和精度都会造成不良影响;针对实时同步问题的产生机理,采用RTX高精度时间采集和数字图像识别技术,构造了一种对系统时间延迟的测定方法;实验证明方法可行,为解决实时同步问题提供依据,提高了半实物仿真试验的可信度和精度.

【期刊名称】《计算机测量与控制》

【年(卷),期】2010(018)009

【总页数】3页(P2005-2007)

【关键词】无人机;时间延迟;半实物仿真平台;视觉自主着陆

【作 者】吴成富;钱全;陈怀民;马松辉;王亮

【作者单位】西北工业大学无人机特种技术国防科技重点实验室,陕西,西安,710065;西北工业大学无人机特种技术国防科技重点实验室,陕西,西安,710065;西北工业大学无人机特种技术国防科技重点实验室,陕西,西安,710065;西北工业大学无人机特种技术国防科技重点实验室,陕西,西安,710065;西北工业大学无人机特种技术国防科技重点实验室,陕西,西安,710065

【正文语种】中 文

【中图分类】TP391.9 0 引言

视觉导航设备由于其简单、便宜、较高的自主性以及无源性等优点，在导航中起着越来越重要的作用。基于计算机视觉的无人机自主着陆问题是一个热门的研究课题[1]。在无人机的视觉自主着陆研究中，半实物仿真 (Hardw are In Loop

Simulation，H ILS)具有更高的真实度，同时解决了实物实验风险高、代价大的问题，节省了研制经费，加快了研究进度。是一种比较优良的研究手段。

无人机视觉自主着陆半实物仿真试验一般采用视景生成平台与实时监控仿真平台组成的双机闭环仿真系统结构[2]，双机之间的数据交换以及视景生成平台的视景生成产生的时间延迟成为影响仿真精度的重要因素。本文基于无人机视觉自主着陆仿真验证系统时间延迟产生机理提出了一种测试方法，为时间延迟的补偿提供了数据依据。

1 仿真验证系统

1.1 系统结构

根据无人机视觉着陆的实际情况与试验需求，仿真验证系统要对无人机、传感器和飞控系统等建立数学模型，视觉反馈信号进行分析解算，提供再现真实的摄像头捕捉画面。无人机视觉着陆仿真验证系统主要由实时仿真监控平台、视景生成平台和视觉信号传输回路组成。

如图1所示，实时仿真监控平台与视景生成平台分别运行在两台仿真计算机上，仿真监控平台主要功能为采用Matlab/ Simulink对无人机视觉着陆过程进行数学建模与仿真计算，利用采集卡进行视觉信号采集，在CV I环境中编写监控台软件实现仿真试验过程控制和图像采集控制。视景生成平台主要为无人机着陆过程提供可视化演示平台。即采用三维连续动画方式播放无人机飞行行为图像，并可以动态调整显示方式。在无人机自主着陆仿真验证系统中，采取计算机实时产生场景图像的方式发送给视觉系统进行仿真计算，视景系统为实时视觉图像的产生平台。由投影仪、投影大屏幕、云台摄像机一体化装置构建仿真监控平台与视景生成平台之间的视觉传输回路，进行视觉信号传输。

1.2 工作原理

仿真验证系统进行仿真试验时，实时仿真监控平台与视景生成平台间的飞行参数信号采用RTTCP/IP实时以太网方式进行通讯。视景生成平台生成的视觉图像信号通过高清投影机投射到大型投影幕上。仿真监控平台通过控制云台以及安装在其上的一体化摄像机完成视觉场景图像的采集，云台摄像机转动对准投影幕上的无人机视觉着陆图像，通过AV视频传输线路将拍摄到的视觉着陆图像连续不断送入仿真监控台，通过视频采集卡将视觉着陆图像采入仿真监控台计算机中，监控台软件将获得的视觉着陆图像送入实时运行的无人机视觉着陆数学模型中进行图像的实时处理，然后将处理后的数据送入飞机模型参与模型解算，将得到的无人机下一时刻飞行参数控制数据发送给视景生成平台从而构成仿真闭环，实现整个无人机视觉着陆半物理仿真闭环验证试验。连接结构如图2所示。

图1 仿真验证平台框架图

图2 仿真验证系统连接结构图

2 系统时间延迟产生机理

在仿真验证平台进行初始工作时，实时仿真监控平台通过RTTCP/IP实时以太网方式把预设初始飞行数据传输给视景生成平台，(把开始传输时刻记为T0)，视景生成平台利用初始数据生成初始视景图像再通过投影仪投射到大屏幕上，实时仿真监控平台则通过摄像头与采集卡采回图像进行分析，(把接收到新一帧图像时刻记为T1)，解算出新的飞行状态数据供给视景生成平台。在这个过程中数据的传输与采集以及视景生成图像所耗费的时间T就可以用T1-T0来获得，这段时间在实际的导航情况中并不存在，这就是所谓的无人机视觉自主着陆仿真验证系统工作时产生的时间延迟。它的产生是由系统双机半实物仿真结构造成的，这个时间延迟可能造成实时飞行数据与视景生成图像的错帧，使得两者不能一一对应，造成了两平台之间的数据不同步问题，对系统的仿真精度和可靠性产生了影响。所以需要对这段时间进行测定，为进行补偿提供实验数据依据，对提高系统的仿真精度和可靠性有较大的意义。

3 测定方法及技术实现[3-6]

根据系统的仿真结构和工作原理设计了如下方法对系统工作时产生的时间延迟进行测定。

3.1 测定方法

整个延迟测定的重点在于得到开始传输时刻 T0与返回时刻T1两个关键时刻，二者之差就为时间延迟T。

首先考虑开始传输时刻 T0的获得，在一个仿真周期内，仿真周期开始的时刻既为T0，借助RTX环境在实时仿真监控平台中的数据传输模块中加入记时时钟模块，在试验开始时采集当前时刻记为 T0，然后在UDP传输数据包中打包加入 T0时间数据，随当前飞行状态数据一起传输至视景生成平台，视景生成平台解包后获得当前飞行状态数据和与之对应的开始传输时刻数据 T0，视景平台利用飞行状态数据生成对应帧视景图像。这就完成了T0时刻的获取。

视景图像的帧传输方式，以及T0与 T1时刻的一一对应是获取T1时刻的难点。T0时刻的数据只能跟随当前的图像通过由投影仪、投影大屏幕、云台摄像机一体化装置组成的视觉传输回路回传到实时仿真监控平台。针对T0时刻数据怎么和图像一起传输以及怎么在到达后一一对应分离设计了一种应用图像处理技术的传输分离方法，如图3所示，在视景生成图像中把T0时刻数据标记显示在图像右上角。当图像通过视觉传输回路回传到实时仿真监控平台时，T0时刻数据也随之一起到达。通过实时仿真监控平台中的数据传输记时时钟模块记录当前时刻为 T1，然后利用一套图像处理算法对图像中的时刻T0进行识别，得到对应数值，完成 T0时刻的提取。从而得到T0，T1，在实时仿真监控平台设置模块运算T0，T1的差值，得到时间延迟T。

图3 时刻数据在图像中的显示

此方法在对时间的计量上始终只运用实时仿真监控平台时钟，避免了双机时间采集中的异种时钟问题。通过图像处理算法的应用，解决了时刻数据随图像一起传输和对应分离问题。测定方法流程如图4所示。

图4 测定方法流程示意图

(1)在实时仿真监控平台中完成T0时刻的获取，打包传输至视景生成平台;

(2)视景生成平台在视景图像中加入 T0时刻数据并传输;

(3)实时仿真监控平台接收数据完成T1时刻数据与 T0时刻数据的获取。

3.2 图像中的数字识别

下面就对传回图像中的 T0时刻数字的识别方法进行讨论，为了便于识别，对视景图像中的时刻数字约定为等宽字体，背景纯色。首先进行图像的一般处理，即对字体图像进行适当的分割与截取，然后对单个字体图像进行二值化处理。然后运用一种对每一个数字的归类识别算法，就可以完成对时刻数字图像的识别

所谓的归类识别算法主要是通过对数字图像进行横向和纵向的扫描得出数学特征进而对数字图像进行重新编码的归类识别。首先对单个数字图像水平方向中点处作铅直垂线，计算与数字图像相交点个数。通过统计分类可得与铅直垂线有3个交点的数字为:2、3、5、6、8、9;2个交点的数字有:0、4、7;1个交点的数字有:1;进一步对数字图像纵向1/3、2/3处作两条水平直线。依据先铅直垂线后水平直线的顺序统计交点可得交点个数与数字对应为二二二:0;一一一:1;三一一:2，3，5;二二一:4;三一二:6;二一一:7;三二二: 8;三二一:9。现在还有2，3，5这3个数字还不能被单一地归类识别出来，分析2，3，5这三个数字形态特征，可以考虑判断水平直线与数字的交点位置，即当为数字2时交点位置分别位于铅直垂线的右侧和左侧，为数字3时分别位于铅直垂线的右侧和右侧，为数字5时位于铅直垂线的左侧和右侧。加入了这个判别特征就可以对2，3，5进行区分，在程序中实现交点位置的判断也是比较简易可行的。这样就完成了0到9共10个数字的归类识别。考虑到仿真验证系统的软件环境，以上算法用C语言编写通过S函数在Matlab/Simu link环境中实现运用，在实际试验中对约定标准数字的识别效果良好。处理方法如图5和图6所示。

图5 数字3的识别示意图

图6 图像中的数字识别算法流程图

3.3 记时时钟模块

系统延迟时间为毫秒级时间，要对其进行测定需要对时刻的量度也要达到毫秒级，否则没有意义。无人机视觉自主着陆仿真验证系统的实时仿真监控平台主要是在Matlab/Simu link与RTX实时扩展环境中构建完成的，其包含的RTUDP传输模块基于Simulink与RTX建立，RTX环境的加入保证了量度毫秒级时刻的可能性，而Simulink中的S函数提供了一个代码与Simulink模块之间的接口，这样利用编写 S函数调用RTX中的时间函数就可以在Matlab/Simulink环境中获得精确到毫秒级的时间，从而保证取得时刻T0、T1的精度。运行时通过Matlab的RTW自动代码生成功能，生成可以在RTX环境中运行的仿真模型实时C代码，完成时刻的记录。记时时钟模块不但完成时刻的纪录，最终的开始时刻T0与结束时刻T1差值运算也由此模块完成。

4 测定试验及结论

依照前述测定方法对仿真验证系统进行时间延迟测定，对1000帧数据进行时延测定。得到的测定结果如图7所示，纵坐标为延迟时间，单位m s，横坐标为帧号数，经过统计得到时延均值在22.5ms左右，围绕均值浮动幅值在2.2m s。总体时延均值趋于稳定，可依照进行时间延迟补偿。

图7 时间延迟测定数据

时间延迟是双机结构的半实物仿真系统都需要面对的问题之一，通过RTX环境和图像处理识别方法的应用，很好地解决了测定中的时刻获取以及数据与图像的帧同步问题。试验结果表明，本文提出的对无人机视觉自主着陆仿真验证系统中的时间延迟测定方法有效，为解决双机结构的半实物仿真同步问题提供了数据依据。此方法也具有一定的工程实用性，可推广到其它双机系统的时间延迟补偿研究。

参考文献:

【相关文献】

[1]陈 磊，陈宗基.基于视觉的无人作战飞机自主着陆仿真系统研究[J].系统仿真学报，2006，18(7):1815-1819.

[2]刘敬云.半实物仿真双机系统时钟同步问题的解决方法 [C].2003年全国仿真技术学术会议论文集:246-248.

[3]姚新宇，黄柯棣.半实物仿真系统中的实时控制技术[J].计算机仿真.2000，17(1):33-36.

[4]戴金海.半实物仿真系统的帧同步控制 [J].计算机仿真，1995，3:7-15.

[5]肖卫国，尔联洁.双机状态半实物仿真系统时间延迟及其补偿研究[J].航天控制，2004，22(6):49-53.

[6]傅 磊，戴冠中，何鹏举.基于以太网的控制系统时间同步机制研究[J].计算机测量与控制，2007，15(1):62-65.