2024年4月24日发(作者：)

2021

年第

40

卷第

2

期

传感器与微系统

(

Transducer

and

Microsystem

Technologies)

139

DOI

：

10.

13873/J.

1000-9787(2021)02-0139-03

嵌入式平台上运动目标的稳定实时跟踪算法

何伟'

，

李磊民蔦黄玉清'

(1.

西南科技大学信息工程学院

，

四川绵阳

621010

；

2.

西南科技大学研究生院

，

四川绵阳

621010)

摘要

：

针对机器视觉技术在嵌入式平台的应用

，

提出了具有遮挡检测和自适应模板更新的核相关滤波

器跟踪模型

，

旨在提髙跟踪器在嵌入式平台上运行时对尺度变化和遮挡的鲁棒性

。

为了应对目标运动过

程中目标尺度变化

，

在核相关滤波器屮加入多尺度估计与动态模板更新策略,同时为了保证目标遮挡后能

被再次检测,采用粒子滤波器对多个粒子候选者重采样来检测目标

。

实验表明

，

跟踪器对

OTB

数据集测

试的平均距离精度

(

mean

DP)

和平均重叠率精度

(

mean

OP)

分别为

86.6%

和

83.7%,

在嵌入式平台的平

均速度为

14.

56

fps

。

关键词

：

嵌入式平台

；

目标跟踪；

核相关滤波器

；

粒子滤波器

中图分类号

：

TP391.4

；

TP212

文献标识码

：

A

文章编号

：

1000-9787(2021)02-0139-03

Stable

real-time

tracking

algorithm

of

moving

targets

on

embedded

platforms

HE

Wei

1

,

LI

Leimin

2

,

HUANG

Yuqing

1

(1

・

School

of

Information

Engineering

,

Southwest

University

of

Science

and

Technology

,

Mianyang

621010,

China

；

2.

School

of

Graduate

,

Southwest

University

of

Science

and

Technology

,

Mianyang

621010,

China)

Abstract

:

Aiming

at

application

of

machine

vision

technology

in

embedded

platform

,

a

kernel

correlation

filter

tracking

model

with

occlusion

detection

and

adaptive

template

updating

is

proposed

to

improve

the

robustness

of

scale

change

and

occlusion

when

lhe

tracker

is

running

on

embedded

platforms

・

In

order

to

cope

with

the

change

of

target

scale

during

the

target

movement

,

multi-scale

estimation

and

dynamic

template

update

strategy

are

added

to

lhe

kernel

correlation

filter,

At

the

same

time,

in

order

to

ensure

that

the

target

can

be

delected

again

after

occlusion

,

a

particle

filter

is

used

to

resample

multiple

particle

candidates

to

detect

the

target.

Experimental

results

show

that

the

mean

distance

precision

(

mean

DP

)

and

mean

overlap

rate

precision

(

mean

OP)

of

the

tracker

for

the

OTB

dataset

are

86.

6

%

and

83.

7

%

,

respectively

,

and

the

average

speed

on

the

embedded

platform

is

14.56

fps.

Keywords

:

embedded

platform;

target

tracking

；

kernelized

correlation

filter

；

particle

filter

0

引言

基础上

，

具有精确尺度估计的跟踪器

DSST(

accurate

scale

近年来

，

机器视觉在无人驾驶车辆平台上广泛应用

，

同

estimation

for

robust

visual

tracking)

⑷

与具有信道和空间可

吋也面临诸多挑战

，

其主要原因有以下几方面

:1)

移动平

靠性的判别相关滤波器

CSRT

(

discriminative

correlation

台需要结合自身重量考虑能源消耗

，

因此所携带的传感器

filter

with

channel

and

spatial

reliability)

|s

解决了跟踪中尺

与处理器设备有限

，

对算法的运算速度有较高要求;

2)

相

度变化问题

。

此外

，

通过组合多个核相关滤波器以提高跟

对于固定摄像机

，

移动平台上的目标跟踪面临光照变化、遮

踪器的精确度的方法也取得了不错效果⑹

。

但他们都依

挡

、

尺度变化以及环境变化等挑战更加严峻九幻

。

赖于图像最大响应值

，

跟踪器在跟踪过程中容易发生漂移

在线目标跟踪算法因为高效和优秀的跟踪效果被广泛

或目标丢失

，

无法长时间跟踪

。

Hossain

L

等人⑺开发了一

采用，

其主要框架之一是核相关滤波器

(

kernelized

correla

­

种基于粒子滤波器的跟踪器模型

，

用于处理视觉跟踪中遮

tion

filters,KCF)

⑶

，

它将单目标跟踪的问题转换到频域进

挡问题

，

但缺乏目标合适的分类器

，

漂移情况严重

。

LiX

等

行计算

，

大大降低运算的时间复杂度

。

在核相关滤波器的

人⑻提出了一种基于自适应背景模型的视觉目标跟踪方法

，

收稿日期

：

2019-09-02

140

传感器与微系统

第

40

卷

但算法时间复杂度高

，

无法达到实时跟踪

。

要想跟踪器在

要性抽样方法

，

使用粒子与样本相关权重更新粒子概率估

嵌入式平台快速稳定运行,重检测

，

尺度估计与模板更新功

计

，

通过粒子重采样策略为目标跟踪提供合理的目标候选

能缺一不可⑼

。

者

。

假设

『

和

：

/分别是目标在

t

时刻的状态量与观测量,

结合粒子滤波器与核相关滤波器

，

本文提出了一种具

其根据目标/以前的所有状态决定

，

表示在当前时刻的最

有遮挡预测和自适应模板跟新更新的核相关滤波器跟踪模

大可能状态

型

。

该算法不需要离线训练,能够在嵌入式平台上高速运

s'

=arg

maxp(s'

|y

I

：

，

)

行

，

同时

，

还具备在跟踪过程中动态学习目标外观模型与目

=arg

maxp

J

p(s

|s

,_l

)p(.$

,_1

)ds

,_1

(4)

标遮挡时位置预测功能

。

1

本文算法介绍

状态向量是由

t

时刻的观测向量:/根据贝叶斯后验概

1.1

跟踪系统框架

率规则得到的

本文算法流程如图

1

所示

。

首先

，

在初始帧中选择搜

小

13

)

MT

严)

(5)

索目标

，

并提取

HOC

特征作为目标描述训练分类器

;

随后

粒子滤波器的□个粒子服从重要性分布宀一

，

在频域中执行输入特征和相关滤波器之间的卷积

，

通过逆

/

“

)

，

其权重更新方程如下

快速傅里叶变换(

IFFT)

获得响应图

；

如果相应图的最大响

,

,_1

.

P

(

y'|s

：

)P

(

S

：

|s

：

T)

应值大于阈值

，

则将最大响应值的坐标作为目标的新位置;

(6)

否则通过粒子滤波器重采样来获得目标最大概率位置。

此

1.4

核相关滤波器与粒子滤波器融合

外

，

本文使用动态模板更新策略以提高跟踪器的鲁棒性

。

本文粒子滤波器粒子

S

*

=

［

牝

，

爲

，

&

，

力

，

亢

，

九

］

T,

这里

阳力代表相应目标的质心內

，

亢分别代表目标在水平和

垂直方向的速度,

%

表示目标外观模型的长和宽

。

粒子

的外观模型增加跟踪器对目标尺度变化的鲁棒性

；

而粒子

的速度信息则有效防止目标发生漂移

。

在跟踪器中

，

核相关滤波器的跟踪结果将被优先采

用,此时粒子滤波器的预测功能将用来确定搜索区域，

并

随着粒子滤波器的迭代

，

搜索的区域将趋近目标区域。

随

后使用方程

(

4)

计算得到空间响应图与最大响应值对应

位置

(/

』

*

),

响应值大于响应阈值&时

，

代表跟踪结果可

靠，

同时进行粒子重采样;但当响应图代表的跟踪结果不

图

1

本文算法框架

1.2

核相关滤波器

可靠时

(maxR<0),

跟踪器选择具有最大权重的粒子作

在文献

［

3,4

］

中

X

G

R2

d

表示从第

k

帧中提取的特

为跟踪结果

。

征图，

其高斯函数标签为分别对其使用离散傅里

1.5

外观模型更新

叶变换

F(

•

)(DFT),/=F(Xh,y=F(y)

。

目标函数在

模型更新方法对于性能良好的跟踪系统同样重要

。

如

第

k

帧的建模为

果模板在整个视频序列中都不更新

，

遇到目标形状突变和

w

k

=

argmin

w

||

y

-x

■

w

2

f

-

+A

||

w

||

(1)

其它因素时,跟踪器将跟踪失败;此外如果模板更新过于频

这里

繁

，

每次更新都会累积一些小错误

，

同时也会在多帧后出现

D

X

-

u)=

x

k

,_._

d

Qw,

^

d

(2)

跟踪漂移

。

与每

“

帧更新模型方式不同

，

如果响应阈值

R

d=l

仅仅几帧就超过更新阈值仇丽

e

，

则不更新模板

。

只有当

R

式中

o

为逐元素相乘

。

通过式

(

1)

得到分类器后

，

从第

E

的值在

1

帧中持续超过更新阈值

，

才会触发更新

。

帧中输出测试数据

0

并转换到傅里叶域/

=F(

0),

其响

对于每帧图像

，

粒子

s

：

的目标质心(冻

，

力)

T

与权重较

应值可以通过下面公式得到

大的粒子必

”

所对应的响应值心等相关信息将被保存

。

S

A

=F

_I

(/

-

wk

)

(3)

式中

尸

7

为离散傅里叶变换逆变换

。

目标在第厶帧的位

一旦需要更新模板,跟踪器返回到

置可以通过最大响应值

max

S

*

(x

，

刃得到

。

(%

』

),

厶

(

”

』

)

｝

帧

，

同时使用之前存储的粒子

｛

%+",

…

,

1.3

粒子滤波器

斜计算每一帧的响应值

｛

心十+

”

…

庖

T

，

心丨

。

找

粒子滤波器

(particle

filter,

PF)

算法基于蒙特-卡洛重

到较大相关系数丘二对应的帧索引

r

，

然后使用提取目标

第

2

期

何

伟,等:嵌入式平台上运动目标的稳定实时跟踪算法

141

区域的

HOG

特征,更新粒子权重与目标位置

。

表

1

5

种跟踪算法的平均跟踪性能指标比较

更新模板从帧/的目标区域

［站

，

处

］

和跟踪次框架

指标

KCF-PF

KCF

DSST

TLDMIL

中提取

。图

1

中模型更新模块为外观模型更新策略的流程

Mean

DP/%

86.6

75.7

77.5

45.4

47.5

图

。

Mean

OP/%

83.7

5

&

3

70.9

37.9

3

&

6

2

实验与分析

Mean

FPS/(

帧

/s)

14.56

24.30

1.86

0.72

5.36

2.

1

实验环境与参数设定

3

结论

在测试过程中

，

跟踪目标在第一帧图像中手动选择

，

并

针对目标跟踪在嵌入式平台上的应用,本文提岀结合

提取它的

HOG

特征作为跟踪目标的描述

。

实验平台为

相关滤波器和粒子滤波器的运动目标跟踪算法

。

在目标未

1.4

GHz

处理器的树莓派

3B

+

开发板

，

本文算法基于

出现遮挡时

,

使用粒子滤波器预测目标位置

,

减少目标搜索

OpenCV

图形处理库

，

使用

C

+

+

语言实现。

跟踪器使用到

范围

；

当目标出现遮挡时,粒子滤波器能预测目标位置

，

同

的参数如下

：

阈值

0=0.4,

模板更新阈值仇

pdag

e

(0.4,

时自动增加搜索范围

，

防止目标丢失

。

另外,本文采样动态

0.45)

，

模板更新触发帧数n

=3,

粒子数

K

=

100,

确定搜索

模板更新方法实时更新目标描述

，为了减少环境变化和冃

区域的粒子

Z=^K,

相关滤波器的归-化参数入

=0.01,

标姿态变化对目标跟踪的影响

，提高算法应对目标以及环

其它跟踪器的参数均采用默认设置

。

境变化的能力

。

实验表明

，

本文提供的算法平均跟踪性能

2.2

算法对比

优于其它算法

，

同时达到了实时性要求

。

本文提出的算法与核相关滤波器

(

KCF)

算法

、

跟踪-学

参考文献：

习-检测(

tracking-learning-detection

,TLD)

算法山

，

具有精确

[1]

翁静文

，

李磊民等,黄玉清•基于

ECO-HC

的无人机指定行人

稳定实时跟踪

[J].

传感器与微系统

,2018,37(9):120-124.

尺度估计的跟踪器

(

DSST)

和多示例学习

(

multiple

instance

[2]

谢泽奇

，

张会敏

，

张佳佳

，

等•复杂背景下的快速机动目标跟

learning,MIL)

算法就

OTB

中

60

个视频序列进行测试对比,

踪算法

[J]

•传感器与微系统

,2018,37(5):132

-134,143.

部分跟踪结果如图

2

所示

。

从跟踪结果可以看出

，

KCF

算

[

3

]

HENRIQUES

J

F,

CASEIRO

R

,

MARTINS

P,et al.

High-speed

法在出现尺度变化和遮挡时逐渐出现漂移

，

最终跟踪失败;

tracking

with

kernelized

correlation

filters

[

J

j

.

IEEE

Transactions

DSST

算法能适应目标尺度变化

，

但当目标出现遮挡时跟踪

on

Pattern

Analysis

and

Machine

Intelligence,

2015,37

(3

)

：

失败;

TLD

和

MIL

算法在重度遮挡和比例变化时出现漂移

；

583

-596.

当目标发快速运动时,

TLD

和

MIL

算法出现卡顿，

KCF

与

[4]

DANELLJAN

M

,

HAGER

F

S,KHAN,el

al

・

Accurate

scale

esti

­

DSST

则不同程度的发生漂移

。

总的来说

，

本文提出的

mation

for

robust

visual

tracking

[

C

]

〃

British

Machine

Vision

KCF-PF

跟踪器在这些具有挑战的视频序列上性能表现最

Conference

,2014

：

65.1

—

65.11.

佳

,

在目标出现遮挡时仍能预测目标位置并且重新检测目标

。

[5]

LUKEZlC

A,

VOjlR

T,ZAJC

L

C,et

al.

Discriminative

conelation

filler

with

channel

and

spatial

reliability

[

CJ//2017

IEEE

Confe

­

rence

on

Computer

Vision

and

Pattern

Recognition

(

CVPR

),

Honolulu

,2017

：

4847

一

4856.

[6]

UZKENT

B

,

SEO

Y.

EnKCF

:

Ensemble

of

kernelized

correlation

filters

for

high-speed

object tracking

[

C

]

〃

2018

IEEE

Winter

Conference

on

Applications

of

Computer

Vision

(

WACV

)

,

Lake

图

2

KCF-PF

与

KCF

、

DSST

、

TLD

、

MIL

跟踪结果对比

Tahoe,

2018

：

1133

-1141

・

表

1

记录了

5

种跟踪算法在

OTB

视频序列上的测试结

[7]

HOSSAIN

K,

LEE

C

W.

Visual

object

tracking

using

particle

filter[C]/7

International

Conference

on

Ubiquitous

Robots

and

果

，

评价指标为平均重叠精度

(

mean

OP)

、

平均距离精度

Ambient

Intelligence,

2013

：

98

—

102.

(mean

DP)

和平均处理速度

(

mean

FPS)

。

距离精度的评估

[8]

LI

X,

LAN

S,

JIANG

Y,et al.

Visual

tracking

based

on

adaptive

标准是中心位置误差

，

即跟踪结果与实际位置的欧氏距离

background

modeling

and

improved

particle

filter

[

C

]

〃

IEEE

小于

20

像素的帧数占总帧数的百分比;重叠精度的评估标

International

Conference

on

Computer

and

Communications,

准是边框的重叠率,当成功率大于

0.5

吋表示跟踪成功

，

平

2017

：

469

一

473.

均重叠精度表示跟踪成功帧数占总帧数的百分比

。

根据实

[9]

LYCHKOV

I

I,

ALFIMTSEV

A

N,SAKUUN

S

A.

Tracking

of

moving

objects

with

regeneration

of

object

feature

points

[

C

]

〃

验结果统计

，

本文算法在重叠精度和距离精度上均取得了

2018

Global

Smart

Industry

Conference

(

GloSIC

)

,

Chelyabinsk

,

最优结果

，

视频帧处理速度为

14.

56

FPS,

满足在嵌入式平

2018

：

l

-6.

台上运行时的实时性要求

。

(下转第

149

页)

第

2

期

邓皓文

，

等:支持

QoS

的无线局域网自适应

MAC

协议算法

149

05

1

s

1

d

5

-e-

本文算法

s

0

1

.6

4

q

3.

d

本文算法

c

1

w

*

2.

—

—

A

—

EDCA

GDCF

u

3.

EDCA

1

、

0

算法

N

5

sdqlN

2.

1

L

Z

GDCF

算法

啊

、

3.

0

、

M

1

.2

1

古

L

5

吉

z

.0

.8

舱

炸

5

「

0

H

L

占

w

s

o.

0

o

.6

4

o

o

v

5

o

v

l.

o

a5

v

o

.2

0

10

20

30400

10

20

30

40

0

10

20

30

40

站点数

站点数

站点数

(a)

AC[0]

吞吐量

(b)

AC[1]

吞吐量

(c)

AC[2]

吞吐量

图

4

3

种业务吞吐量随站点数目的变化

效避免碰撞,时延比

EDCA

小;站点数大于

36

时连续成功

[5 ]

SYED

I

,

SHIN

S,

ROH

B,et

al.

Performance

improvement

of

发送数据的概率变低,

CDCF

会将竞争窗口维持在较大值,

QoS-enabled

WLANs

using

adaptive

contention

window

backoff

此吋低优先级接入信道的儿率变大

，

导致退避时间过长

,

时

algorithm]

J]

.

IEEE

Systems

Joumal

,2018,12(4)

：

3260

—

3270.

延最大;本文算法平均时延最小

，

这是由于自适应算法既能

[6]

白翔

，

毛玉明

，

冷甦鹏

，

等

.AIFS

区分的

IEEE

802. He

EDCA

够有效避免网络碰撞

，

且相比于

GDCF

能够避免竞争窗口

吞吐率分析模型与自适应

MAC

算法

[

J

]

•软件学报

,

2009,

下降过慢导致额外的退避时延

。

20(4)

：

779

-794.

S

E

[7]

BIANCHI

G.

Performance

analysis

of

the

IEEE

802.

11

distribu

­

本文算法

、

载

EDCA

GDCF

算法

ted

coordination

function

[

J]

.

IEEE

Journal

on

Selected

Areas

in

幕

Communications

,2000,18(3)

：

535

—

547.

H-

o

o

v

[8]

XIAO

Y.

Perfonnance

analysis

of

priority

schemes

for

IEEE

802.

11

and

IEEE

802.

lie

wireless

LANs[

J]

.

IEEE

Transactions

on

0

10

20

30 40

站点数

Wireless

Communications,2005

,4(4)

：

1506

—

1515.

图

5

AC[0]

平均时延

[9]

SHI

C,

HE

S

Q

,

DENG

Z

J

,

et

ai. Adaptive

access

mechanism

5

结论

with

delta

estimation

algorithm

of

traffic

loads

for

supporting

本文提出了一种支持区分服务的无线网络改进

MAC

weighted

priority

in

IEEE

802.

lie

WLANs

[

J

].

Joumal

of

协议,通过对

EDCA

机制中的退避算法进行改进

，

使得该机

Ambient

Intelligence

and

Humanized

Computing,

2019

,

W

(5)

:

制具有自适应性

。

改进算法提高

EDCA

机制性能,在网络

1693

-1702

・

负载较高的情况下

，

降低了高优先级业务的时延

，

大幅提高

[10]

ROMDHAN1

L,NI

Q,TURLETT1

T.

Adaptive

EDCF

：

Enhanced

了各优先级业务的吞吐量

;

改进算法相比于

GDCF

算法有

service

differentiation

for

IEEE

802.

11

wireless

Ad-Hoc

net

­

更好的

QoS

区分和更低的网络时延

。

该算法额外开销较

works

[

C

]

//

2003

IEEE

Wireless

Communications

and

Net

­

少

，

在需要电池供电的无线局域网以及无线传感器网络中

working

,

New

Orleans

,

LA

, USA

,2003

:1373

—1378.

具有一定的应用价值

。

[11]

ZHANG

H,

TIAN

W,

LIU

J.

Improving

EDCA

for

efficient

参考文献

：

channel

access

in

vehicular

communications

[

J

].

IEEE

Commu

­

[1]

何剑

，

张广兴

，

谢高岗•基于多关联模型的软件定义高密

nications

Magazine

,2018,56(10)

：

72

—

77.

WLAN

EDCA

机制的吞吐量优化

[J].

高技术通讯

,2018,

[12]

WANG

C

,

LI

B

,

LI

L.

A

new

collision

resolution

mechanism

to

28(1)

：

15

-21.

enhance

lhe

performance

of

IEEE

802.11

DCF[

J]

.

IEEE

Tran

­

[2]

杨冰

，

邓曙光

，

文双春•无线多媒体传感器网络能量均衡的

sactions

on

Vehicular

Technology

,2004,53(4)

：

1235

—

1246.

QoS

路由算法

[J].

传感器与微系统

,2014,33(4)

：

122

-124.

作者简介

：

[3]

张长森

，

陈鹏鹏,胡宇鹏

，

等.过滤发送阈值退避算法

[J]

•传

邓皓文

(1994-),

男

，

硕士研究生

，研究方向为认知无线通信,

感器与微系统

,2016,35(7):143-146.

E-mail

:

dengl

9945

@

live.

com

0

[4]

SERRANO

P,BANCHS

A

,

PATRAS

P,el

al.

Oplinial

configura­

江虹

(1969-),

男

，

博士

，

教授

，

主要研究领域为认知无线电

tion of

802.

lie

EDCA

for

real-time

and

data

traffic

[

J]

.

IEEE

技术,人工智能应用技术

。

Transactions

on

Vehicular

Technology

*

,2010,59(5)

：

2511

—

2528.

李

维

(

1994

-

),

男

，

硕士研究生

,

研究方向为认知无线通信

。

(上接第

141

页)

检测与识别技术

。

[10]

KALAL

Z,

M1KOLAJCZYK

K,

MATAS

J.

Tracking-learning-

李磊民

(

I960

-),

男

，

通讯作者

，

教授

，

硕士研究生导师

，主要

detection

[

C

~/

IEEE

Transactions

on

Pattern

Analysis

and

Ma

­

研究领域为机器人控制技术

，

无线测控技术

，

图像处理与机器视

chine

Intelligence

,2012,34(7)

：

6

—

9.

觉

，

E-mail

：

li_leimin@163

.

com

。

作者简介

：

黄玉清

(1962

-),

女

，

教授

，

硕士研究生导师

，

主要研究领域为

何伟

(1993

-),

男

，

硕士研究生

,

研究方向为图像处理

，

图像

无线测控及无线通信技术

，

图像处理与机器视觉

，

智能技术应用

。