2024年1月21日发(作者：)

2020年第12期

(总第 216 期）

信息通信

INFORMATION & COMMUNICATIONS

2020(Sum. No 216)深层卷积神经网络的服装检测算法综述雷冬冬，王俊英,聂雄锋，江曙(三峡大学计算机与信息学院，湖北宜昌443002)摘要:服装检测技术的发展对电子商务行业的影响巨大，深度学习特别是卷积神经网络的兴起使得服装检测算法的研究

成为热点。文章对现有国内外的服装检测方法进行了柢理，阐述了服装检测的检测数据集、检测标准以及检测算法的研

究成果，并在此基础上对主流的服装检测算法的框架进行了概括分类，主要包括特征提取部分和功能网络部分。然后分

析比较了几种主流的基于卷积神经网络的服装检测算法，它们在检测任务、速度、精度等方面各有侧重点，需要根据实际

使用场景进行选择和权衡。最后总结提出当前研究存在的问题和未来服装检测算法的发展趋势。关键词:卷积神经网络;服装检测；关键点定位；网络框架;特征提取中图分类号：TP301 文献标识码:B 文章编号：1673-1131(2020)12-0071-04Survey of Clothing Detection Algorithm Based on Deep Convolutional Neural NetworksLei

Dongdong,

Wang

Junying,

Nie

Xiongfeng,

Jiang

Shu(College

of

Computer

and

Information,

Three

Gorges

University,

Yichang 443002,

China)Abstract:The

development

of

clothing

detection

technology

has

a

huge

impact

on

the

e-commerce

industry，and

deep

learning，

especially

the

rise

of

convolutional

neural

network，makes

the

study

of

clothing

detection

algorithms

a

hot

spot.

The

existing

methods

of

clothing

detection

at

home

and

abroad

are

summarized,

and

the

research

results

of

the

detection

data

set,

detection

standards

and

detection

algorithms

for

clothing

detection

are

described.

On

this

basis,

the

framework

of

the

mainstream

clothing

detection

algorithms

is

summarized

and

classified.

Afterwards,

several

mainstream

clothing

detection

algorithms

based

on

con-

volutional

neural

network

are

analyzed

and

compared.

They

have

their

own

focuses

in

terms

of

detection

task,

speed，accuracy，

etc.,

and

need

to

be

selected

and

weighed

according

to

the

actual

scene.

Finally,

the

paper

summarizes

the

existing

problems

in

current

research

and

the

development

trend

of

garment

detection

algorithm

in

the

words:convolutional

neural

network;

clothing

inspection;

key

point

positioning;

network

framework ;

feature

extractioni概述随着信息技术和电子商务的迅猛发展，服装成为电商平

台最热门的交易种类之一，对于服装图像的检测也成为计算

机视觉技术领域的重要热点之一。由于服装图像的类别多且复杂，其数据量呈现爆炸式增

长，基于人工特征构造的传统服装检测算法已无法满足用户

的检测需求。基于深度学习的算法具有自动提取特征的优点，

突破了传统图像检测方法的瓶颈，在服装检测领域中取得了

不俗的研宄成果，其中通过深层卷积神经网络算法获取服装

的类别、属性、位置等信息成为服装

检测领域的研宄热点之一。2016年，ZiweiLiu等人[1]规范了服装的颜色、类别、纹理、

语义属性的标注标准，并完成了具有上述所有注释的大型统

一数据集一一DeepFashion;他们还定义了类别和属性预测、在

商店的服装检索和Consumer-to-Shop服装检索的评价基准，

得到了广泛承认和应用，为服装检测领域的研宄做出了重大

贡献。2017年，Sijie

Yan等人[2]针对以往研宄需对训练数据提供

服装的包围框作为附加注释，以至于获得成本高，无法在实践

中运用问题，提出了深度关键点网络(DLAN),

DLAN更适合

于真实世界的时装分析，为以后的研宄提供方便。深度卷积神经网络强大的表达能力和大规模时装数据集的可用性使得其在服装分类、关键点定位、属性预测方面取得

了许多成果，但是对如何将服装领域丰富的专业知识注入时

装模型给研宄者提出了一个新的挑战。2018年，Wenguan

Wang等人[3]首次提出两种解释服装中

依赖关系和对称关系的时装语法，将其引入到双向卷积递归

神经网络(BCRNNs)，且首次在服装检测算法中应用了类别导

向注意和关键点感知注意两种注意力机制，有效地将服装领

域的专业知识集成到网络模型中，进一步提高了服装图像分

类的性能。2019 年,Yuying

Ge 等人[4]为了缩小

DeepFashion 数据集与真实场景之间存在的巨大差距（比如每张图像只有一件衣

服、关键点标记稀疏、没有像素级遮罩等),提出了具有对时装

图像全面的任务定义和丰富注释支持的数据集一DeepFash-

ion2。他们建立了一个统一的基准和框架来实现服装图像分

析的任务(如服装检测、关键点预测、服装分割、检索),并受人

体姿态估计的启发，提出了一个新的服装任务叫服装姿态估

计，预测13种服装类别的服装关键点和骨架。该任务有助于

提高服装图像分析在实际应用中的性能。2020 年,Alexey

Sidnev 等人w针对

DeepFashion2 中的关

键点估计是建立在具有两阶段目标检测器性质的Mask

R-

CNN上，因此很难使用在低功耗设备上的缺点,提出了一个基

于轻量级的架构。在解决服装检测和关键点位收稿日期= 2020-10-09作者简介:雷冬冬(1992-),女，硕士研宄生，主要研宄方向:智能识别与图像处理;聂雄锋(1996-),男，硕士研宄生，主要研宄方向:智能识别

与图像处理;江曙(1996-)男，硕士研宄生，主要研宄方向:智能识别与图像处理。通讯作者:王俊英(1971-),女，博士，教授，主要研宄方向:人工智能与模式识别。71

信息通信置估计两个任务的同时，计算复杂度低，即使在低功率的设备

上运行,依然可以保持较高的精度。2基础理论、数据集和算法性能评价指标

2.1基础理论目标检测是计算机视觉领域中的一个基本问题，即预测

出图像中各个目标的类别和位置信息。目标检测不仅在交通、

安防等领域中有巨大的应用需求，也为其它视觉任务如图像

分割、目标追踪等提供了理论基础和研宄思路。目前深度学习在目标检测方向的研宄方法主要分为两类，

一类是基于候选区域的算法，检测的主要步骤分为生成候选

区域和对候选区域进行分类回归这两步，如R-CNN、SPP-net、

Fast

R-CNN、Faster

R-CNN、R-FCN、Mask

R-CNN 等;另一类是

直接在网络中提取特征来预测分类和位置的算法，如YOLO、

SSD、ComerNet等。服装分析作为计算机视觉中的重要任务

之一，是目标检测领域中一个具有重要研宄价值的分支。利用计算机分析服装图片容易受到衣服的尺度和形变的

影响，比如模特的各种姿势、拍摄的视角和距离、光线的明暗

等。衣服的非刚性变化导致对服装图片的分析检测相较与人

体、车辆等刚性目标的检测更具有挑战性。服装检测，即识别图片中是否存在事先定义的类别目标

服装，如果存在，返回该类别目标服装的位置以及空间范围。服装属性标签作为构成服装知识体系的一个重要来源，

同一个服装图像在不同的属性维度之下，其属性是可以共存

的，属性值之间是独立存在的。例如上身视角中的某个领型

既属于圆领也属于娃娃领。服装关键点定位就是精确地定位服装的各个关键点在图

片中的具体位置。根据人体姿态估计领域的研究方法启发了

研宄人员对服装图片的研宄思路，对图片中的服装进行关键

点定位能辅助分析服装类别、服装姿态估计等。服装分析领域中的任务包含:服装检测及属性预测、关键

点的定位、服装分割、服装检索、服装推荐、服装姿态估计等，

其中最基础的任务为预测服装类别、关键点定位、属性预测,

提高它们的预测精度也能提高其它服装分析任务的精度。2.2数据集和算法评价指标随着服装数据集的完善和算法评价指标的统一，服装检

测领域的研宄取得了越来越丰硕的成果。经过研宄人员的辛勤采集与标注，近年来公开发布的大

型服装检测数据集主要包括以下4个数据集，表1列出了相

关数据集[1<[7'表1数据集类别属性关点键数最(万张）DeepFashion5FashionAI412452435Fashion-Gen4816929DeepFashion21329480服装检测算法的评价指标包括经典目标检测算法的评价

指标(检测速度、精确率、召回率等)和服装检测算法中预测关

键点的评价指标(检测的关键点百分比、归一化误差)。检测到的关键点百分比(PDL):某些重叠标准下,检测到

的关键点的百分比,值越高，结果越好。雷冬冬等:深层卷积神经网络的服装检测算法综述归一化误差(NE):归一化坐标空间中预测的关键点位置

与真实值之间的L2距离，值越小，结果越好。其中，N是样本数，和w,•是第i个样本的高度和宽度

和P分别是第i个样本的真实值和预测值。3基于卷积神经网络的服装检测算法框架受启发于深度卷积神经网络在图像分类任务中取得的成

果，几种主流服装检测算法的框架大都是沿用目标检测的算

法，在其之上改进。服装检测算法一般包括特征提取网络、功能网络,并通过

两者的融合最终完成分类预测、属性预测、关键点定位等服装

检测任务。3.1特征提取网络过去几年大多数经典服装检测算法（如：Fashion

Net[l]、

DF

AlignmentM、DLANM、BCRNNB]、DF

Analysis™)中的特征

提取网络采用的都是VGG-16的主干网络，而MatchR-CNN[4]

的主干网络为ResNet-FPN,

Deep

Mark++则是采用的Hour-

gkss主干网络。VGG-16是2014年基于大量真实图像的ImageNet图

像库预训练的网络，在图像分类、目标检测等计算机视觉任

务中得到了广泛而成功的应用。16是指在这个网络中包含

16个卷积层和全连接层。VGG-16是一种只需要专注于构

建卷积层的简单网络，结构很规整并不复杂，都是几个卷积

层后面跟着可以压缩图像大小的池化层，池化层缩小图像的

高度和宽度。同时，卷积层的过滤器数量变化存在一定的规

律，由64翻倍变128,再到256和512。因此修改起来相对

容易。ResNet的主要思想是在网络中增加了直连通道，允许原

始输入信息直接传到后面的层中，这一层的神经网络可以不

用学习整个的输出，而是学习上一个网络输出的残差。因为

它简单且实用，之后很多方法都建立在ResNet50或者Res-

NetlOl的基础上完成的，在检测，分割，识别等领域里得到广

泛的应用。Hourglass网络结构提取了较高层次的特征，同时保留了

原有层次的信息。整个Hourglass是对称的，获取低分辨率特

征过程中每有一个网络层，则在上采样的过程中相应地就会

有一个对应网络层。Stacked

Hourglas[ll]就是把多个漏斗形

状的网络级联起来，可以获取多尺度的信息。Feature

Pyramid

Network (FPN)是一种多尺度检测方法,

结构中包括自下而上，自上而下和横向连接三个部分。整个

过程就是首先在原始图像上面进行深度卷积，然后分别在不

同的特征层上面进行预测。这种结构可以将各个层级的特征

进行融合，使其同时具有强语义信息和强空间信息，可以结合

各种骨架网络使用，比如VGG,ResNet等。3.2功能网络在特征提取完成后，服装检测算法往往会使用分支网络、

序列网络以及多种功能网络结合去完成分类预测、属性预测、

关键点定位等时装检测的任务。功能网络的实现架构主要有

分支网络和级联网络两种。3.2.1分支网络72

信息通信利用分支网络的功能网络(例如注意力分支、语义信息分

支）加强或减弱某些特征，调节预测的热力图，来提髙整个网

络的准确率。分支网络的设计灵感来自于残差网络的工作，

如果注意网络可以被构造成恒等映射，那么其性能应该不会

比没有注意网络的对应模型差。BCRNN网络模型中的注意力分支同时考虑关键点感知

注意和服装类别驱动的注意。注意力特征首先被下池化到一

个非常低的分辨率，然后上采样，进一步使用细化的特征更新

整个网络的特征，用于最终的检测。DF

Analysis网络模型中的注意力分支首先使用一个1x1

卷积将输入的特征转换为28x28x32。然后利用两个卷积层将

feature压缩到7x7x28。每个层有一个3x3的卷积和一个2x2

的最大池化。最后用两个转置卷积得到输出，再通过公式来

修改主干网络的表示。3.2.2级联网络利用级联网络的功能网络是将服装检测问題分为多个阶

段，后一阶段都将利用前一阶段的输出特征来进一步迭代修

正这一阶段的分类及定位的准确率。DFMgmnent网络模型构建了三层级联神经网络模型，具

有三个阶段，随后两个阶段重新进行先前的预测，都使用

VGG-16作为网络体系结构。第一阶段，将原始图像作为输入，

并预测大致关键点位置;第二阶段，将输入图像和第一阶段的

预测作为输入，估计校正第一阶段预测所需的偏移量;第三阶

段，根据第二阶段预测的误差，学习估计的偏移量进行预测。DLAN网络模型考虑到不受约束的服装图像通常会有剧

烈的整体和局部变形，利用分层递归空间变换器(HR-ST)来递

归学习几何变换去迭代消除背景杂波，聚焦于预测出的服装

功能部位。由于衣物自然形成具有根(衣物/人体)和叶子(局

部关键点小块)的树状结构，它在每个递归步骤是预测细化变

化而不是一个直接变换。结合层次强度和递归更新，HR空间

变换器能够在不受明显监督的情况下，通过预测一系列全局

和局部几何变换，联合定位衣服和检测标志点。4基于卷积神经网络的服装检测算法分析与比较目前典型的基于卷积神经网络的服装检测算法的结构与

能够实现的功能各不相同，但是总体来说，均存在特征提取网

络部分和功能网络部分。它们能够实现的具体功能如表2所

示[w.9】。表2各种方法能够实现的任务棋型分类属性关键点定

服装预测位检索Fashion Net V

4VVDF Alignment

7VVDLAN

VVBCRNN

V4VDF Analysis

V4VMatch R-CNNVVV4.1特征提取网络服装检测算法中的特征提取网络各有千秋，有曾在图像

分类大赛获得冠军的VGG-16网络、残差网络与特征金字塔

网络结合起来的网络以及堆叠沙漏网络等。表3列出了部分

服装检测模型的分类准确率[1〜]。73雷冬冬等:深层卷积神经网络的服装检测算法综述表3算法分类的准确率模型主干网络准确率Fashion NetVGG-1682.58BCRNNVGG-1690.99DF AnalysisVGG-1691.16Match R-CNNRcsNct-FPN66.74.2功能网络特征提取后，引入不同功能网络的服装检测算法所能够

实现的服装分析的功能也各不相同，如表4所示气它们的性

能在不同的任务表现上各有优劣。表4算法性能表现棋型属性关键点定位 服装预测_检索Fashion Net45.520.087276.4DF Alignment730.066051DLAN0.0643BCRNN51.530.0484DF Analysis54.690.04744.2_1分支网络对于服装关键点定位任务，引入了注意力机制分支网络

的服装检测算法不仅在定位关键点任务上性能更出色，而且

能提升其他任务如分类、属性预测的性能表现。这种注意机

制放大了与服装分析最相关的信息，过滤掉了不相关的特征，

从而提髙了类别、关键点定位和属性预测的准确性。BCKNN网络模型中的一个注意分支产生与关键点对齐

的服装特征，使得模型寻找时装中信息丰富的语义部分:另一

个注意分支直接关注与类别相关的图像区域，以目标驱动的

方式学习。DF

Analysis网络模型利用卷积上采样来生成更精

确的关键点热图，起到了软约束的作用，以促进类别分类和属

性预测。4.2_2级联网络级联网络使服装检测算法不仅提髙了关键点预测的准确

性，而且在不同的类别和模式下表现出很好的泛化能力。它

将一整个复杂的映射问题分解为多个子空间回归问题，通过

预测前一阶段的修正值，逐渐减少了关键点的定位误差。DF

Alignment网络模型是将整个算法网络迭代三次，将

置信图传递到下一阶段，减少误差的同时提髙了对姿态估计

的泛化能力。DLAN网络模型通过预测一系列的全局和局部

的几何变换，能够处理服装图像中常见的尺度差异和背景杂

波，因此它在达到检测较好性能的同时，在不同的类别和模式

下也表现出很好的泛化能力。5结语本文简要分析了近年来基于卷积神经网络的几种主流服

装检测算法的框架和各自的特点。由于其广泛的应用前景，

服装检测仍然是一个值得深入研究和探索的领域。未来基于

卷积神经网络的目标检测算法研究还存在许多挑战，比如模

型复杂度过高、数据集过大带来的训练成本高等问题。这些

2020年第12期(总第 216 期）

信f、通信

INFORMATION & COMMUNICATIONS

2020(Sum. No 216)运营商基于SDN承载边缘计算业务的设计及演进的思考李景博(中国联合网络通信有限公司湖南省分公司，湖南长沙410014)摘要:作为扩展数据中心的应用技术，云计算在过去的十年取得了长足的发展，云數据中心(Cloud

Data

Center)成为新一

代信息技术基減设施。缘计算作为赛博(Cyber)空间向物理世界的进一步延伸，伴随5G和新一代SDN/NFV运营商

网络的发展，将为物联网（Intemet

of

Things)应用带来全新的机会。基于应用发展的趋势，文章对运营商的云数据中心

向边缘计算延伸中面临的问题、产生的价值及困难进行分析思考;并对运营商提供I〇T业务整体解决方案中，采用SDN

技术承栽边缘计算业务的设计和演进提出建议。关键词:边缘计算;SDN;

IOT;

SD-WAN中图分类号：TN913.21 文献标识码:A 文章编号:1673-1131( 2020 )12-0074-03Node)到云数据中心协同执行分布式的计算任务，由IoT设备

1什么是边缘计算4G无线通讯网络的发展和普及，带来了互联网的一轮高

(传感器和执行器）进行监视和控制，并且需要支持跨各个子

系统进行相互通信。边缘计算的网络拓扑结构示意图如下：速发展，以智能手机为代表的移动设备数量不断增长，使得智

能设备产生数据的增速远超网络带宽的增速，数据产量达到

泽字节(ZB)级别。为匹配海量爆发増长的数据处理需求，我们

步入了以云计算模型为核心的分布式大数据处理时代。而如

今，5G以及物联网(IOT)应用推动着万物互联程度的进一步

加深，越来越多并且产生越来越多数据的边缘设备不断增长，

推动云计算向网络边缘节点进一步延伸。“边缘”是相对于云中心的概念，实际上其周边术语非常

多，包括:边缘计算、雾计算、移动计算、协同计算等等。这些

技术和术语都是基于某一特定方面，适用于某些特定技术，将

会伴随物联网（IOT)应用的不断延伸而不断发展变化。这里

我们将“边缘计算”理解为一组核心功能，并将其安置在运营

商网络中，定义其计算模型为完全分布式的，能够支持各种交

互和通信范例的计算模型。边缘计算从存在于物理空闲的各

个“物体”感知数字化后的现实空间信息，依托边缘节点(Edge/ *

终端S白S/

I

SSS/

I

SSS图1边缘计算的网络拓扑结构示意收稿日期:2020-11-05作者简介:李景博(1983-),男，研宄生，通信工程师。任职于中国联合网络通信有限公司湖南省分公司,从事云网创新平台维护优化和技术

支撑。研究方向:云计算、边缘计算、云数据中心和SDN技术。CenterNet-based

Clothing

Detectian[J].

arXiv

pre{>rint

ar-

Xiv:2006.00710,2020.问题的解决将可以进一步拓展服装检测方法的适用领域，提高算法的综合性能，进而推动目标检测及整个计算视觉领域研究的深入发展。[6]

Duan

K,

Bai

S,

Xie

L,

et

Net:

Keypoint

Triplets

for

Object

Detection[J]^019.参考文献：[1]

Liu

Z,

Luo

P,

Qiu

S,

et

al.

DeepFashion:

Powering

Robust

Clothes

Recognition

and

Retrieval

with

Rich

Aoncrtations

[7]

Zou

X,

Kong

X,

Wong

W,

et

al.

Fashionai:

A

hierardiical

dataset

for

&shion

und^tanding [C]//Proceedings

of

the

IEEE

Conference

on

Computer

lsion

and

Pattern

Recogni­tion

Workshops. 2019.[er

Vision &

Pattern

Recognition^016.[2]

YanS,

Liu ^

Laid

P,etalUiuxn]s&^med

Fashion

LandmaikDe-

tecdon

via

Hieraidbical

Recun^

T^ansfbmier

Netwaiks|J]^017.[8]

Rostamzadeh

N,

Hosseini

S,

Boquet

T,

et

al.

Fashion-gen:

The

generative

fashion

dataset

and

challenged].

arXiv

pre­print

arXiv: 1806.08317,2018.[3]

Wang

W,

Xu

Y,

Shen

J,

et

al.

Attentive

Fashion

Grammar

Network

for

Fashion

Landmark

Detection

and

Clothing

Cat-

egory

Classification [C]_ 2018

IEEE/CVF

Conference

on

Computer

Vision

and

Pattern

Recogoition,2018.[9]

Liu

Z,

Yan

S,

Luo

P,

et

al.

Fashion

Landmark

Detection

in

the

Wild[C],2016:229-245.[4]

Ge

Y,

Zhang

R,

Wu

L,

et

shion2:

A

Versatile

Be­nchmark

for

Detection,

Pose

Estimation,

Segmentation

and

Re-Identification

of

Clothing

Images[J],2019.[10]

Liu

J,

Lu

H.

Deq)

&shion

analysis

with

feature

map ^samp­ling

and

landmaik-driven

attenticm [C]//Proceedings

of

llie

European

Qmfecraice

on

Qsnputo:

^sion (ECCV). 2018:0-0.[11]

Newell

A,

Yang

Deng

d

Houiglass

Networks

far

Human

Pose

Estunation[J],2016.[5]

Sidnev

A,

Krapivin

A,

Trushkov

A,

et

al.

DeepMark++：74