2024年4月29日发(作者：opporeno4多少钱)

第

59

卷第

1

期

2021

年

1

月

吉林大学学报

(

理学版

)

Journal

of

Jilin

University

(Science

Edition)

Vol.

59

No.

1

J

an

2021

doi

：

10.134

13/j.

cnki.

jdxblxb.

20201

78

基于

U-Net

多尺度和多维度特征

融合的皮肤病变分割方法

王

雪

(吉林农业科技学院网络信息中心

，

吉林吉林

132101.)

摘要

：

针对皮肤病变区域尺度不同和形状不规则

，

传统

U-Net

网络方法缺乏从不同尺度分析

目标的鲁棒性

，

并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度

等问题

，

提出一种基于

U-Net

多尺度和多维度特征融合的医学图像分割方法

.

首先

，

用空洞

卷积融合不同尺度的空间上下文信息

；

其次

，

用通道上下文信息融合模块提取特征图各通道

间的权重信息

；

最后

，

将特征图中的多尺度和多维度信息进行融合

，

以保留更多的空间上下

文信息

.

实验结果表明

，

该方法在皮肤病变数据集上对皮肤病变区域进行分割的分割效果

较好

.

关键词

：

医学图像分割

；

U-Net

网络

；

多尺度和多维度特征融合

；

皮肤病变分割

中图分类号

：

TP391

文献标志码

：

A

文章编号

：

16715489

(

2021

)

)10123-

)5

Skin

Lesion

Segmentation

Method

Based

on

U-Net

with

Multi-scale

and

Multi-dimensional

Feature

Fusion

WANG

Xue

(Center

of

Newok

Informatinn

,

JU

Agricultural

Science

and

Technology

University

,

Jilin

132101

,

Jilin

Province

,

China)

Abstract

：

I

n

view

of

the

skin

lesions

with

different,

scales

and

irregular

shapes

,

the

traditional

U-Net.

method

lacked

robustness

to

analyze

targets

from

different,

scales

,

and

lost,

some

spatial

context,

information

when

extracting

high-level

semantic

features

of

the

image

,

which

affected

the

accuracy

of

subsequent,

segmentation

,

the

author

proposed

a

medical

image

segmentation

method

based

on

U-Net.

with

multi-scale

and

multi-dimensional

feature

fusion.

Firstly

,

the

spatial

context,

information

from

different,

scales

was

fused

by

us

convolution.

Secondly

,

the

weight,

information

of

each

channel

of

the

feature

map

was

extracted

by

the

channel

context,

information

fusion

module.

Finally

,

the

multi

­

scale

and

multi-dimensional

information

in

the

feature

map

was

fused

to

preserve

more

spatial

context,

information.

Experimental

results

show

that,

the

proposed

method

can

segment,

the

skin

lesion

on

the

skin

lesion

dataset.

,

and

the

segmentation

effect,

is

good.

Keywords:

medical

image

segmentation

;

U-Net.

network

;

multi-scale

and

multi-dimensional

feature

fusion

；

skin

lesion

segmentation

医学图像分割是医学图像分析与处理的关键步骤

,

可辅助医生做出更准确的诊断和治疗方案

,

收稿日

期

：

2020-06-22.

作者简介

：

王

雪

(198?

—

),

女

，

汉族

,

硕士

,

助理研究员

,

从事深度学习与图像处理的研究

9

E-mail

：

************.cn

.

基金项目

：

吉林省科技发展计划技术攻关项目(批准号

：

?)19)3)3134SF)

和吉林农业科技学院校内青年基金(批准号

：

2)19)4?)).

124

吉林大学学报(理学版

)

第

59

卷

从而减少人工处理时间和人为错误

.

传统医学图像分割方法主要包括基于水平集分割

［

「

］

、

阈值

分割⑶

、

基于边缘或区域分割

"

5

］

和模糊聚类分割

［

］

等

-

这些方法均需用手动提取的特征进行分割

-

很

难为不同的分割任务设计具有代表性的特征

-

缺乏特征的通用性

•

随着卷积神经网络在医学图像分析

和处理领域的发展

-

基于深度学习的分割方法因其可自动学习图像特征

-

克服了传统方法中手动提取

特征的局限性而成为目前研究的热点

•

全卷积神经网络

(fully

convolutional

neural

network-

FCN)

［

7

］

是典型端到端的图像分割深度网络之一

.

Rommeberger

等

［

］

提出了

U-Net

网络结构用于生物医学图

像分割

•

该网络结构通过编码减少空间维度并提取高层语义特征

-

解码结合跳跃连接操作恢复空间维

度和图像细节信息

-

在医学图像分割上性能较好

•

但该结构中的连续卷积和池化操作在提取高层次语

义特征的同时也丢失了图像中部分空间上下文信息

•

因此

-

如何在编码中捕获更多的高级特征并保留

丰富的空间上下文信息

-

以提高医学图像分割性能仍是该领域亟待解决的问题之一

.

本文提出一种基于

U-Net

网络的多尺度和多维度特征融合分割方法

-

用于医学图像中皮肤病变

分割

.

该方法在

U-Net

网络编码底层引入多尺度和多维度特征融合模块

-

以捕获更多高级语义信息并

保留空间上下文信息

•

实验结果表明

•

该方法在皮肤病变数据集上分割效果较好

•

1

U

・

Net

网络

U-Net

网络

［

］

是一个基于

FCN

的图像分割网络

-

主要用于医学图像分割

-

并在细胞壁

、

肺部和眼

底视网膜血管分割等方面效果较好

•

U-Net

网络结构主要由卷积层

、

最大池化层

、

反卷积层

、

跳跃连

接以及非线性激活函数

Relu

组成

•

U-Net

中使用带边界权值的损失函数

-

表示为

E

=

〉

：

•

(x

)

log(

p/

x

)

(

x

))-

x

E

H

(?)

其中

：

p/x

)(

x

)

是

Softmax

函数

；

l

：

Q

f{

1,2,

…

，

K

}

表示像素点的标签值

；

•

：

ooCx

)

=

a

)

c

(x

)

+

M

0

•

exp{

—

(

d

(

x

)

+

d?

(x

)

)

?

/

(

0

)

}

-

表示像素点权值

-

(?)

式中

如

：

Q

f

R

表示平衡类别的权值

，

d

:

Q

f

R

表示像素点与其最近细胞的距离

，

d

?

:

Q

f

R

表示像素

点与其第二近细胞的距离

-

o

和

o

为常数

.

2

基于

U-Net

多尺度和多维度特征融合分割方法

由于

U-Net

网络在向下编码提取高层次语义特征过程中

-

连续卷积和池化操作丢失了图像中部分

空间上下文信息

-

因此为解决该问题

-

本文提出一种基于多尺度和多维度特征的融合方法

-

从多个尺

度提取更多的语义特征并结合维度信息保留更多的空间上下文信息

•

改进的网络结构如图

？

所示.主

要包括

3

个模块

：

特征编码模块

、

多尺度和多维度特征融合模块

(multi

一

scale

and

nulti-Einensiona1

64

64

128

64

64

1

4482x3

128

128

2242x128

~

卅

|

e

256

128

|128

2242x128

—

卷积

3x3+BN+Relu

1122x256

I

最大池化

2x2

I

上卷积2x2

f

卷积

1x1

-

复制

图

1

改进的网络结构

Fig.

1

Structure

of

improved

network

第

1

期

王雪

：

基于

U-Net

多尺度和多维度特征融合的皮肤病变分割方法

125

feature

fusion,

MSSE)

及特征解码模块

•

2.1

多尺度特征提取

受文献

［

9

］

启发

•

本文在提取图像多尺度特征时采用

Atrous

卷积

•

通过引入不同的扩张率参数,

在不增加参数量的同时扩大感受野

•

Atrous

卷积计算公式为

y

d)

=

工

+

r

・

k)

w

d)

k

=

1

(3)

其中

x

d)

表示输入信号

•

w(

k

)

表示长度为

k

的滤波器

•

r

为对输入信号进行采样的步幅

•

y

)

i

)

为

Atrous

卷积的输出

•

此外

•

本文引入

Inception

结构

［

0

］

思想

•

将不同大小卷积核提取的特征进行融合

.

图

1(A)

为多尺度特征提取块

•

该卷积块包含

4

个

Atrous

卷积分支

•

卷积核大小为

3X3,

扩张率分别

为

1,,.

第

4

个分支为不同扩张率卷积和一个

1X1

卷积的级联结构

•

2.2

通道上下文信息融合模块

经过上述图

1(A)

模块提取的多尺度特征后

•

本文进一步通过通道上下文信息融合模块提取特征

图像通道间的权重信息

•

采用挤压和激励

(squeeze

and

excitation,

SE)

模块

［

1

］

,

结合特征通道间的作

用关系改善模型的特征表达能力

.

SE

模块主要包括两部分

•

即

Squeeze

和

Excitation.

图

1(B)

为

SE

网络模块

•

其中

：

F

sq

(

・

)

表示对输出特征图进行全局平均池化

，

以降低特征维度到

1

X1X

C

,

C

表示

通道数

；

F

ex

(

・

，

W

)

通过全连接层和非线性学习得到特征图各通道的权重值

；

最后经过

F

sae

(・

•

・

)将

各通道的权重信息融合到特征图像中

•

本文通过上述过程提取的多尺度和多维度特征信息以残差网络

结构

［

2

］

中跳跃连接的思想

•

与图

1(A)

的输入特征图进行融合

•

其目的是防止网络梯度消失

•

同时为

后续解码模块保留更多的空间上下文信息

，

提升分割精度

•

图

2

多尺度和多维度特征融合模块

Fig.

2

Multi-scale

and

multi-dimensional

feature

fusion

blocks

3

实验结果与分析

实验硬件环境

：

服务器

Intel

Xeon

CPU

E5-161"

v4,

内存

64

GB

DDR4

MHz,

NVIDIA

GeForce

GTX

1080

Ti

独立显卡

3

张

.

软件环境

：

Ubuntu

16.

"4

LTS

64

位操作系统

•

基于

PyTorch

框架

•

CUDA

版本

10.0.

3.1

数据集

采用国际皮肤影像协会

dnternational

skin

imaging

collaboration,

ISIC)

出版的

ISIC1018

皮肤镜

检查图像数据集

［

13

］

•

该数据集来自病变分割

、

皮肤镜特征检测和疾病分类数据

•

该数据集共包含

1

594

张图片

，

本文参考文献

［

4

］

的方法

•

将数据集划分为训练集

(1

815

张

丿

、

验证集

(159

张)和测试

集

(510

张

).

采用文献

［

5

］

的方法进行数据增强

•

包括水平翻转

、

垂直翻转和对角线翻转

.

图像预处理

主要包括

HSV

颜色空间中的颜色抖动和图像随机移动

•

图片大小调整为

448X448.

3.2

参数设置及评价指标

模型训练过程中

•

采用

Adam

优化器

•

batch_size=8,

epoch=

10"

•

初始学习率

r

设为

0.

"0"

1

•

当损失值连续

1"

个

epoch

递增时

•

更新学习率为

r

/1.

为评价本文的分割效果

•

本文采用

3

个评价指标

•

即分割准确率

Acc

、

灵敏度

Sen

和

AUC.

计算

126

吉林大学学报(理学版

)

第

59

卷

公式如下

：

Ace

=

(TP

+

TN)/(TP

+

TN

+

FP

+

FN)

•

Sen

=

TP/(TP

+

FN)

•

(4)

(5)

其中

TP

表示真阳率

•

TN

表示真阴率

•

FP

表示假阳率

•

FN

表示假阴率

•

AUC

表示

ROC

曲线下的区

域

•

用于衡量分割性能

•

其取值范围为

)〜

1

AUC

值越大说明分割性能越好

•

3.3

实验结果

将本文实验结果与文献

［

8

］

和文献

［

4

］

在测试数据集

(5?)

张图片

)

上的结果进行对比

•

表

1

列出了

不同方法下的各评价指标值

.

由表

1

可见

•

本文方法的

Acc,Sen,AUC

评价指标结果分别为

).949,

).835,0.98)

9

均优于其他方法

•

图

3

为本文方法所得的

ROC

曲线

.

图

4

为不同方法对

ISIC2018

数据

集上不同皮肤镜下

4

张图片的分割结果

•

由图

4

可

见

•

在不同背景环境和不同大小皮肤病变区域的分

割中

•

本文方法的分割效果优于

U-Net

网络方法

.

表

1

不同方法在

ISIC2018

数据集上分割结果的对比

Table

1

Comparison

of

segmentation

results

of

different

methods

on

ISIC2018

dataset

方法

文献

［

］

Ace

0.

914

0.

937

0.

949

Sen

0.

768

0.

785

0.

835

AUC

0.

925

0.

884

0.

980

文献

［

14

］

本文

Fig.

3

ROC

curve

of

proposed

method

on

ISIC

dataset

综上所述

•

本文提出的基于

U-Net

多尺度和多

维度特征融合方法将提取的多尺度网络深层语义特征和维度信息进行融合

•

有效解决了

U-Net

网络特征

编码模块在提取语义特征过程中尺度单一和空间上下文信息丢失等问题

•

提高了医学图像的分割精度

•

原图

Ground

truth

方法 U-Net

方法

本文方法

图

4

不同方法对

ISIC2018

数据集上

4

张图片的分割结果

Fig4

SegmentationresultsoffourimagesonISIC2018datasetbydiferentmethods

第

1

期

王

雪

：

基于

U-Nct

多尺度和多维度特征融合的皮肤病变分割方法

127

参考文献

[

1

]

KHALIFA

F

,

GIMEL'FARB

G

L,

EI-GHAR

M

A

,

ct

al

A

New

Deformable

Model-Based

Segmentation

Approach

for

Accurate

Extraction

of

the

Kidney

from

Abdominal

CT

Images

[C]//2011

18th

IEEE

International

Conference

on

Image

Processing.

Piscataway,

NJ

:

IEEE,

2011

：

3393-3396.

[2]

刘哲

，

宋余庆

，

刘雅婧

•

基于核模糊聚类的变分水平集医学图像分割

[]•

江苏大学学报(自然科学版

)

，

2014,

35(6)

：

693-69

8

(LIU

Z

,

SONG

Y

Q

,

LIU

Y

J.

Variational

Level

Set

Medical

Segmentation

Based

on

Kernel

Fuzzy

Clustering

JJ].

Journal

of

Jiangsu

University

(Natural

Science

Edition)

,

2014

,

35(6)

:

693-698.)

[3]

申铉京

，

潘红

，

陈海鹏

•

基于一维

Otsu

的多阈值医学图像分割算法

JJ].

吉林大学学报(理学版

)

，

2016,

54(2)

：

34

4-34

8

(SHEN

X

J

,

PAN

H

,

CHEN

H

P.

Medical

Image

Segmentation

Algorithm

Based

on

Onc-Dimcnsional

Otsu

Multiple

'Threshold

[]•

Journal

of

Jilin

University

(Science

Edition),

2016,

54(2)

：

344-34

8)

[4

]

肖晓尧

，

李雄飞

，

张小利

，

等

.

基于多尺度的区域生长的图像分割算法

[]•

吉林大学学报

(

工学版

)

，

2017,

4

7(5)

：

1

59

1-1

597.

(XIAOXY,

LI

X

F

,

ZHANG

X

L

,

ct

al.

Medical

Image

Segmentation

Algorithm

Based

on

Multi-scale

Region

Growing

[J].

Journal

of

J

ilin

University

(Engineering

and

'Technology

Edition),

2017,

47(5)

：

1591-1597.)

[5]

王超

，

王浩

，

王伟

，

等

•

基于优化

ROI

的医学图像分割与压缩方法研究

[]•

重庆邮电大学学报(自然科学版

)

，

20

5,

27(2)

：

279-284.

(WANGC,

WANG

H

,

WANG

W,

ct

al

Study

of

Optimized

ROI

Based

Medical

Image

SegmentationandCompression

Method

[

J

]

.JournalofChongqing

UniversityofPostsand

Telecommunications

(

Natural

Science

Edition),

2015,

27(2)

：

279284

)

[6]

张辉

，

朱家明

，

唐文杰

•

基于聚类和改进型水平集的图像分割算法

[]•

计算机科学

，

2017,

44

(6A)

：

198201.

(ZHANG

H

,

ZHU

J

M

,

TANG W

J.

Image

Segmentation

Algorithm Based

on

Clustering

and

Improved

Double

Level

Set

[J].

Computer

Science,

2017,

44

(6A)

：

1

98-201.)

[7]

LONGJ

,

SHELHAMER

E,

DARRELL

T.

Fully

Convolutional

Networks

for

Semantic

Segmentationt

[C]//

IEEE

Conference

on

Computer

Vision

and

Pattern

Recognition.

Piscataway

,

NJ

:

IEEE,

2015

：

34

31-3440.

[8

]

ROMMEBERGER

O,

FISCH

ER

P

,

BROX

T.

U-Nct

:

Convolutional

Networks

for

Biomedical

Image

Segmentation

[

C

]//

International

Conference

on

Medical

Image

Computing

and

Computer-Assisted

Intervention.

Berlin

：

Springer

,

20

5

：

234-24

1.

[9

]

CHEN

L

C

,

PAPANDREOU

G

,

KOKK1NOS

I

,

ct

al

DeepLab

：

Semantic

Image

Segmentation

with

Deep

Convolutional

Nets,

Atrous

Convolution

,

and

Fully

Connected

CRFs

[]•

IEEE

'Transactions

on

Pattern

Analysis

and

Machine

Intelligence

,

2017,

40(4)

：

834-848.

[10]

SZEGEDY

C,

IOFFE

S

,

VANHOUCK

E

V

,

ct

al

Inception-v4

,

Inccption-RcsNct

and

the

Impact

of

Residual

ConnectionsonLearning

[

C

]//

Proceedingsofthe

Thirty-First

AAAIConferenceon

ArtificialInte

l

Alto

：

AAAI

Press,

2017

：

4

2784

284.

[11]

HU

J

,

SHEN

L,

ALBANIE

S,

ct

al

Squcczc-and-Excitation

Networks

[C]//Proceedings

of

the

IEEE

Computer

Society

Conference

on

CVPR.

Piscataway

,

NJ

:

IEEE,

2018

：

7

132-7

14

1.

[12]

H

E

K

M

,

ZHANG

X

Y

,

REN

S

Q

,

ct

al

Deep

Residual

Learning

for

Image

Recognition

[C]//Proceedings

of

the

1E2E2E2

Computer

Society

Conference

on

CVPR.

Piscataway

,

NJ

:

IEEE,

2016

：

770-778

[13]

CODELLA

N

C

F,

GUTMAN

D,

CELEBI

M

E,

ct

al.

Skin

Lesion

Analysis

toward

Melanoma

Detection

:

A

Cha

l

engeatthe

2017

International

Symposium

on

BiomedicalImaging

[

C

]//

2018

IEEE

15th

International

Symposium

on

Biomedical

Imaging.

Piscataway

,

NJ

:

IEEE,

2018

：

168-172.

[14]

AZAD

R

,

AGHBOLAGH

1

M

A

,

FATHY

M.

Bi-dirctional

ConvLSTM

U-Nct

with

Densley

Connected

Convolutions

[C]//20

9

IEEE/CVF

International

Conference

on

Computer

Vision

Workshop.

Piscataway,

NJ

:

IEEE,

2019

：

406-4

15.

[1

5]

GU

Z

W

,

CHENG

J

,

FU

H

Z,

ct

al.

CE-Nct

：

Context

Encoder

Network

for

2D

Medical

Image

Segmentation

[J].

IEEE

Tansactions

on

Medical

Imaging,

20

9,

38(0)

：

2281-2292.

（

责任编辑

：

韩啸

）