2024年4月12日发(作者：)

技术研究

2021

年第

3

期

doi：10.3969/.1671-1122.2021.03.008

面向用户的支持用户掉线的联邦学习数据隐私

保护方法

路宏琳

1,2

，王利明

1

（1.中国科学院信息工程研究所，北京 100093；2.中国科学院大学网络空间安全学院，北京 100049）

摘 要：联邦学习是解决多组织协同训练问题的一种有效手段，但是现有的联邦

学习存在不支持用户掉线、模型API泄露敏感信息等问题。文章提出一种面向用户的

支持用户掉线的联邦学习数据隐私保护方法，可以在用户掉线和保护的模型参数下训

练出一个差分隐私扰动模型。该方法利用联邦学习框架设计了基于深度学习的数据隐

私保护模型，主要包含两个执行协议：服务器和用户执行协议。用户在本地训练一个

深度模型，在本地模型参数上添加差分隐私扰动，在聚合的参数上添加掉线用户的噪

声和，使得联邦学习过程满足(ε,δ)-差分隐私。实验表明，当用户数为50、ε=1时，可

以在模型隐私性与可用性之间达到平衡。

关键词：联邦学习；深度学习；隐私保护；差分隐私；用户掉线

中图分类号：TP309 文献标志码： A 文章编号：1671-1122（2021）03-0064-08

中文引用格式：路宏琳，王利明.面向用户的支持用户掉线的联邦学习数据隐私保护方法[J].信息网络安

全，2021，21（3）：64-71.

英文引用格式：LU Honglin, WANG Liming. User-oriented Data Privacy Preserving Method for Federated

Learning that Supports User Disconnection[J]. Netinfo Security, 2021, 21(3): 64-71.

User-oriented Data Privacy Preserving Method for Federated

Learning that Supports User Disconnection

LU Honglin

1,2

, WANG Liming

1

(1. Institute of Information Engineering, University of Chinese Academy of Sciences, Beijing 100093, China;

2. School of Cyber Security, University of Chinese Academy of Sciences, Beijing 100049, China)

Abstract: Federated learning is an effective method to solve the problem of multi-

organization collaborative training. However, existing federated learning has problems

such as not supporting user disconnection and model API leaking sensitive information.

This paper proposes a user-oriented federated learning data privacy preserving method

that supports user disconnection, which can train a differential privacy disturbance model

under user disconnection and protected model parameters. This paper uses a federated

learning framework to design a data privacy preserving model based on deep learning. It

mainly contains two execution protocols, server and user execution protocol. User trains a

收稿日期：2021-01-17

基金项目：国家重点研发计划[2017YFB0801901]

作者简介：路宏琳（1995—），女，山东，硕士研究生，主要研究方向为数据隐私保护；王利明（1978—），男，北京，正高级工程师，博士，

主要研究方向为网络安全。

通信作者：

64

2021

年第

3

期

技术研究

deep model locally, adds differential privacy disturbance to the local model parameters, and

adds sum noise of dropped users to the aggregated parameters so that the federated learning

process meets (ε,δ)-differential privacy. Experiments show that when the number of users is

50 and ε=1, a balance can be reached between model privacy and usability.

Key words: federated learning; deep learning; privacy preserving; differential privacy;

user disconnection

0 引言

随着机器学习理论技术的不断成熟，机器学习的

隐私保护也面临着巨大挑战。例如，欧洲联盟更新的

[1]

，将数据收集和存储限制在消

费者同意且绝对必要的处理范围内。这导致“数据孤

岛”现象出现，企业拥有数据却无法有效利用。对此，

2016年谷歌提出了联邦学习

[2]

，对“数据孤岛”现象

给出了新的解决思路。联邦学习是一种效率较高的分

布式协同学习方案，企业可以通过联邦学习，基于本

地隐私数据训练出更加准确的全局模型。训练过程中，

用户以独立且同步的方式在本地训练好模型，然后将

模型参数发送给服务器；服务器收集并聚合所有用户

的模型参数，发送给用户，如此迭代训练。联邦学习

使得用户的隐私数据不需要离开本地，就能训练出一

个更加准确的全局模型，这不仅保护了训练数据，也

实现了企业之间的互联互通。

联邦学习在信用卡欺诈检测

[3]

、通信诈骗识别

[4]

等多个领域都有应用。虽然联邦学习能够为用户提供

共享模型，但是在训练过程中可能侵犯用户隐私。有

研究表明，与服务器相互通信的模型信息、训练之后

模型公开的API查询等，会导致用户信息泄露。文献[5]

提出的黑盒推理攻击，攻击者利用模拟数据构建多个

目标模型的影子模型，并基于影子模型和目标模型的

输出结果训练出一个可判断是否为目标模型训练数据

的攻击模型。文献[6]通过观察目标模型预测结果，重

建了模型训练时使用的人脸图像数据。为了抵御这类

攻击，文献[7]发现了高度可逆模型，该模型可通过增

加少量噪声变得不可逆。

针对联邦学习面临的黑盒推理攻击，研究领域大

多采用差分隐私

[8]

的方式进行防御，使攻击者不能以

高置信度推断出训练数据的特定信息。目前的研究领

域主要包含两方面：1）添加噪声的工作由服务器完成。

2）添加噪声的工作由用户完成。

在服务器添加噪声的研究中，文献[9]提出了在分

布式设置中的差分隐私机器学习方法。该方法安全聚

合本地模型并使用拉普拉斯噪声

[10]

来实现差分隐私，

但是噪声比例与用户最小数据成反比。文献[11]从用户

的角度提出了差分隐私联邦优化方法，在服务器的聚

合参数上添加噪声，在聚合的过程中隐藏了单个用户

的贡献。服务器添加噪声虽然可以实现参数扰动，但

在实际应用中，服务器无法直接在模型参数上添加噪

声，其收到的模型参数往往是经过同态加密或者安全

多方计算处理之后的

[12]

。

在用户添加噪声的研究中，文献[13]提出在用户训

练的模型参数上添加高斯噪声，但该方法没有考虑到全

局隐私损失。文献[14]提出一种在用户模型参数上依据

概率添加噪声的方法，但该方法将模型参数假定在一定

范围内，不能适用所有的训练数据。用户添加噪声虽然

可以实现噪声扰动，但是不能控制隐私损失，且目前用

户噪声添加方法没有处理用户掉线问题。如果用户因为

网络故障等原因无法上传模型参数，则联邦学习迭代过

程中添加的扰动不能严格满足差分隐私要求。

本文提出一种面向用户的支持用户掉线的联邦学

习隐私保护方法，来有效抵御黑盒推理攻击。实验结

果表明本文所提方法能够在模型隐私性和可用性之间

达到一个平衡，并且能够解决用户掉线问题，适用于

参数保护下的联邦学习系统。

1 相关知识

1.1 联邦学习

联邦学习是一种分布式机器学习框架。在每轮训

65

《通用数据保护条例》

技术研究

2021

年第

3

期

练中，用户根据本地数据独立计算当前模型参数的更

新值，并将此值传输到服务器，服务器聚合用户更新

以计算新的全局模型。

在联邦学习中，用户P

j

持有本地隐私的数据D

j

，

所有用户共享一个模型架构

θ

。用户数目记作m，联

邦学习系统结构如图1所示，具体步骤如下。

服务器 S

...

...

D

1

D

j

D

m

用户

P

1

用户

P

j

用户

P

m

图1 联邦学习系统结构

1）P

j

基于D

j

训练

θ

，计算得到P

j

的模型参数更

新值∆w

j

=Train

(

θ

,

D

j

)。

2）P

j

将∆w

j

上传到S。

3）S聚合所有用户上传的∆w

j

，得到模型参数更

新值的聚合结果w'=

∑

m

j

=1

∆w

j

。

4）S将w'返回给用户，用户计算均值，更新本地

模型。

5）重复迭代过程，直至模型收敛。

1.2 差分隐私

差分隐私（Differential Privacy，DP）是通过添加噪

声来掩盖相邻数据之间查询的差异性。差分隐私查询

可确保在数据中增加或删除一条数据时查询结果保持不

变，攻击者无法根据查询结果推断出用户隐私，并且无

须关心攻击者拥有的背景知识。即使攻击者知道除一条

记录信息之外的所有记录信息，也无法推测出这条记录

的敏感信息。

定义１　(

ε

,

δ

)

－差分隐私

［８］

给定一个隐私算法M，对

于至多相差1条记录的相邻数据

D

和

D'

，如果

M在这两

个数据上的输出结果

S(S⊆range(M))满足Pr[M(D)∈

S]

≤

e

ε

×Pr[M(D')∈S]+

δ

，则称M满足(

ε

,

δ

)-差分隐私。

66

其中，Pr[]表示M暴露隐私信息的概率；参数

ε

为隐私

预算，代表隐私保护的程度。一般来说，

ε

值越小，D

和D'输出的概率分布越接近，隐私保护级别越高。当

ε

=0时，M针对D和D'的输出概率完全相同。然而

ε

的取值是一个开放性的问题，有些情况下，更大的

ε

值

可以提供更有意义的隐私保证。参数

δ

是一个松弛项，

例如，当

δ

=e

−5

时，表示只能容忍e

−5

的概率违反严格

差分隐私。当

δ

=0时满足

ε

-差分隐私，简称

ε

-DP。

应用差分隐私进行处理的数据主要分为两类。一

类是数值型的数据，另一类是非数值型的数据。对于数

值型的数据，一般采用拉普拉斯机制

[10]

或者高斯机制

[15]

；

对于非数值型的数据，一般采用指数机制

[16]

。本文对

模型参数添加差分隐私扰动，主要针对的是数值型数据。

拉普拉斯机制可满足

ε

−DP，故本文采用带有一个松弛

项的高斯机制。噪声大小取决于算法的敏感度

[8]

。

定义２　敏感度　对于查询函数f:D→R，D和D'，f

的敏感度定义为=∆fmax||

D,D'

f(D)−f(D')||

2

。

其中，∆f

只与查询函数的类型有关，代表相邻数据上同一查询

结果的最大差异。

定义３　高斯机制　给定D，对于任意的f:D→R，若

M满足G=(D)f(D)+Y，则其提供(

ε

,

δ

)-

DP

，称M满

足高斯机制。

对于任意的

δ

∈(0,1)、

σ

>

2ln(1.25/

δ

)

∆f

Y服从

YN(0,

σ

2

)

。其中，

σ

是噪声的标准差。

ε

，有噪声

本文采用差分隐私的序列组合性

[17]

。即假设有一

组合算法

M={M

1

,



,M

m

}，若在同一个数据上分别满

足

ε

i

-差分隐私，则M可提供(

∑

m

1

ε

i

)-DP。

1.3 卷积神经网络

卷积神经网络（CNN）的基本结构由输入层、卷

积层、全连接层及输出层构成。典型的卷积神经网络以

LeNet-5为例，一共包含8层，如图2所示。

输入层：输入数据是图像的像素值。

卷积层：包括两个部分，卷积层和池化层。C1、

C3、C5是卷积层，S2、S4是池化层。CNN的卷积层由

S4:

C1:

C3:

5 5



C5:

F6:

10 10



1 1



1 1



输出

输入

28 28



S2:

14 14



32 32



图2 卷积神经网络的基本架构

多个特征面组成，每个特征面由多个神经元组成，神

经元通过卷积核与上一层特征面的局部区域相连。卷

积核是一个权值矩阵。例如，图2中C1由6个特征面组成，

每个特征面为28×28的矩阵。池化层紧跟在卷积层之后，

起到二次提取特征的作用，主要目的是在保留有用信

息的基础上减少数据处理量，加快训练网络的速度。

全连接层：在CNN结构中，经多个卷积层和池化

层后，连接着1个或1个以上的全连接层。全连接层根

据提取的特征进行最终的分类，层中每个神经元与其

前一层的所有神经元进行连接，该层可以整合卷积层

或者池化层中具有类别区分性的局部信息。F6是全连

接层，与C5全相连。

输出层：输出层神经节点的数目根据具体应用任

务来设定。如果是分类任务，卷积神经网络输出层通

常是一个分类器。该层可以采用softmax逻辑回归进行

分类，也被称为softmax层。

2 基于差分隐私的联邦学习数据隐私保护方法

针对现有联邦学习差分隐私方法存在的问题，本

文提出了一种基于差分隐私的联邦学习数据隐私保护

方法，该方法能更好的适用参数保护下的联邦学习隐

私保护系统，并且支持用户掉线。该方法主要包含服

务器和用户执行协议两个协议，方法架构如图3所示。

1）服务器执行协议。深度学习模型是个迭代的

过程，并且在每轮产生隐私损失，因此本文采用MA

Moments Accountant）机制

[18]

计算隐私损失，从而控

制迭代过程。

2）用户执行协议。由用户对模型参数添加差分隐

私扰动并发送给服务器。为保证方法的实用性，本文

考虑到掉线用户，可满足差分隐私的严格要求。

2021

年第

3

期

技术研究

不相等

用户执行协议

⑨判断在线人数

⑧

⑩补齐噪声

是否等于总人数

发

⑤添加噪声

送

给

用

④训练模型

⑥发送给

户

服务器

①计算预算

②判断是否超

③不超过

过阈值

阈值

⑦聚合

参数

③超过阈值终止训练

服务器执行协议

图3 基于差分隐私的联邦学习数据隐私保护方法架构

安全假设：假设训练过程中已经采用了安全的聚

合方式；假设所有用户都使用安全通道与服务器通信，

如TLS/SSL；假设所有用户和服务器都是诚实的，会

按照协议执行。

2.1 服务器执行协议

深度学习训练过程迭代次数多，如果连续添加差

分隐私噪声，则

δ

是累积且逐渐增加的。为了控制深度

学习模型训练过程中的全局隐私，引入一个能够对访

问训练数据产生的隐私损失进行核算的模块，从而对

整个分析活动的全过程加以控制和引导。该模块与现

实生活中会计的职能十分相近，称为“隐私会计”

[19]

，

采用MA机制计算隐私损失，并在训练过程中积累这种

损失。该协议基于(

ε

,

δ

)

-差分隐私，当累加的隐私损

失超过

δ

时，则终止训练过程，可以对复杂的复合机

制的隐私损失进行严格的自动化分析。服务器执行协

议相应的伪代码如下。

输入: w',m,

σ

,

ε

Begin

for each round r=1,2, do

δ

←Accountant(m,

σ

,

ε

);

if

δ

≥

Q then

return w';

End if

Receive model parameters ∆w

ˆ

j

of u users;

w'←

∑

u

j=1

∆w

ˆ

j

;

Send r,w',u to users;

End for

End

67

（

技术研究

2021

年第

3

期

其中，∆w

ˆ

j

表示P

j

扰动后的模型参数更新值；Accountant(m,

σ,ε)用于计算隐私损失，是MA机制的核心；u表示在

线用户数；r表示第r次迭代过程。服务器进行新一轮

迭代时，隐私会计会根据输入的m,

σ

,

ε

来评估

δ

。参照

文献[15]可知，

δ



服务器通知用户停止训练；否则收集所有用户的

m

1

。若

δ

到达固定的阈值Q，则

∆w

ˆ

j

。

由于该过程可能会发生掉线，所以服务器可能只收集

到u

(

u

≤

m

)

个用户的∆w

ˆ

j

，服务器聚合u个用户的∆w

ˆ

j

得到w'，最后将所得r、w'、u发送给用户。

2.2 用户执行协议

在用户执行协议中，本文提出两个子协议：噪声

添加子协议和掉线处理子协议。噪声添加子协议主要

在模型参数上添加噪声，使攻击者不能以高置信度推

断出隐私数据信息。掉线处理子协议解决用户在掉线

情况下的噪声问题，使其满足差分隐私要求。

在噪声添加子协议中，文献[11]在服务器添加噪

声GM(0,

σ

)

，但该方法不能适用参数保护下的联邦学

习系统。本文在此基础上进行改进，基于差分隐私的

序列组合

[17]

性质，对添加在S上的噪声进行拆分。由

每个用户在训练好的模型参数上添加

1

GM(0,

σ

)的噪

声，并将∆w

ˆ

m

发送给S。

定理１　噪声添加子协议满足(

ε

,

δ

)

-DP，则用户在本

地模型参数更新值上添加的噪声满足

(

1

ε

,

δ

)

-DP，依据

序列组合性可得w'满足

((

∑

m

1

m

j

=1

m

ε

,

δ

)

−DP

)=((

ε

,

δ

)

−DP

)

。

在掉线处理子协议中，若P

j

因为信道故障等原因

不能按时提交∆w

ˆ

j

，则所有用户的聚合噪声为

u

GM(0,

σ

m

)

σ

)，不满足高斯机制，即添加的噪声和

不满足差分隐私公式。因此，用户判断u是否等于

m，如果不相等，则补全m−u个掉线用户的噪声和

m

m

−

u

GM(0,

σ

)，使其满足其差分隐私公式。

结合噪声添加和掉线处理子协议，用户执行协议

相应的伪代码如下。

输入: r,w',u

输出: ∆w

ˆ

Begin

68

If u≠m

then

w'←w'+

m

−

u

GM(0,

σ

);

End if

m

If r

≥

2

then

w←w

0

+

1

w'

;

End if

u

For each local Epoch i=1,2,…E do

for batch b∈B do

w



←w−

η

∇L

(

w

);

End for

End for

m←u;

∆w

ˆ

←(w



−w

0

)+

1

GM(0,

σ

);

return ∆w

ˆ

m

End

由于∆f通常非常小，因此本文取

σ

=

2ln(1.25/

δ

)

η

ε

。

其中，

表示学习率，w

0

表示模型初始化参数，E表示

本地训练迭代次数，B表示批量，w表示模型参数值。

用户执行协议具体步骤如下。

1）判断当前轮的用户数是否与上一轮用户数相

等，如果不相等，则执行掉线处理子协议；如果相等，

则执行步骤2）。

2）当模型第一次训练时，使用默认的模型参数，

之后则对w'进行平均操作得到w。

3）用户对本地隐私数据进行批量梯度下降算法训

练，得到训练后的模型参数值w



。

4）用户执行噪声添加子协议，对(w



−w

0

)

添加差

分隐私扰动，最后将∆w

ˆ

发送给服务器。

5）与服务器交替迭代完成联邦学习过程。

在用户执行协议中，主要有以下两个特点。

1）用户对模型参数添加差分隐私扰动，能够扩展

到参数保护下的联邦学习系统。

2）首次对掉线用户的噪声进行处理，使其在迭代

过程中严格满足差分隐私公式。

2.3 安全性分析

本文所提方法能够有效抵御黑盒推理攻击，主要

有以下两方面原因。

1）经过差分隐私训练模型，较小的隐私预算（即

更强的隐私保护）给目标模型引入了更多的随机性，

从而干扰了目标模型的输出。

2）从单条记录的角度看，差分隐私添加的噪声，

导致两个相同记录的预测概率也可能不同。因此，较

小的隐私预算导致目标模型输出两个相同的记录为不

同的预测概率的可能性更高。以黑盒成员归属推断攻

击

[6]

为例，攻击者根据不同训练数据的输出概率向量

来训练二分类模型。若模型中添加了差分隐私，则相

同记录的输出概率向量可能不同，导致攻击模型分类

错误。

3 实验

3.1 实验设置

本文实验选取的深度学习模型为基于Pytorch实现

的卷积神经网络（CNN），模型系统结构如图1所示。

模型包含2个卷积层和2个全连接层，卷积层模型参数

如表1所示。第1个全连接层为800×500，第2个全连

接层为500×10，激活函数采用ReLU函数，池化层采用

最大池，最后使用softmax进行分类。

表1 CNN卷积层模型参数

卷积层输入通道卷积核大小步长池化核大小输出通道

1层卷积1

5×512×220

2层卷积20

5×512×250

训练任务为MNIST数据集的手写数字识别、

Fashion-MNIST数据集的图像识别。实验运行环境为一

台配有8核Intel Xeon CPU与TITAN Xp GPU的PC机，

内存为128 GB。每个用户运行相同的模型，使用SGD

作优化器、CrossEntropyLoss作损失函数。对数据进行

随机采样划分，每个用户持有的数据大小为60。设置

Q=e

−5

、

η

=0.01。为了验证本文方法的有效性，分别分

析了差分隐私、用户数量、掉线对模型准确率影响以

及用户数量对迭代轮数的影响。

3.2 差分隐私对模型准确率的影响

本文对比了m为50、r从1~25时，联邦学习无差

分隐私和联邦学习差分隐私方法在不同

ε

值下，测试数

据上的模型准确率的变化。MNIST的准确率变化如图

2021

年第

3

期

技术研究

4 a）所示，Fashion-MNIST的准确率变化如图4 b）所示。

a）MNIST

b）Fashion-MNIST

图4 差分隐私对模型准确率的影响

从联邦学习无差分隐私和联邦学习差分隐私的角

度进行分析，可以得到两种情况下测试准确率均逐渐

增加，说明模型在训练过程中趋于收敛，并最后稳定

在一个范围内。

ε

值不影响模型收敛情况，两种条件

下模型的收敛速度也基本一致。基于MNIST的模型收

敛速度更快，准确率更高。联邦学习无差分隐私比联

邦学习差分隐私准确率要高，并且联邦学习差分隐私

的准确率是在一定范围内波动，这是因为添加在模型

参数上的噪声是随机的。

从不同

ε

对模型训练的影响进行分析。当

时，模型的训练准确率升高。由

σ

=

2ln(1.25/

ε

增大

δ

)

ε

可得

σ

与

ε

成反比，

ε

越大算法隐私保护越差，模型准确率

越高。通过图4发现，当

ε

=0.5时，模型准确率有明显

下降。

ε

越小算法隐私保护效果越好，模型准确率越低，

这与差分隐私的理论一致。

ε

越小准确率曲线的波动

越大。这是因为添加的噪声越大，模型参数的随机值

影响越大，故而准确率波动越大。从实验可以得出当

m=50、

ε

=1时可以在模型隐私性和可用性之间取得一

69

技术研究

2021

年第

3

期

个平衡。

3.3 用户数量对模型准确率的影响

图5表示了当

ε

=1时，用户数量对联邦学习差分隐

私模型训练准确性的影响。MNIST准确率变化如图5 a）

所示，Fashion- MNIST准确率变化如图5 b）所示。

a）MNIST

b）Fashion-MNIST

图5 用户数量对模型准确率的影响

通过图5可发现，用户越多模型准确率越高。这

说明系统中用户数量的增加有益于提升模型的分类准

确率，与是否添加差分隐私无关。在不同的用户数量

下，收敛速度基本一致，这说明用户数量对模型收敛

速度没有影响。用户数越多，模型准确率的随迭代次

数的波动越小。这是因为用户对聚合结果求平均操作

时，用户数越多，添加在模型参数均值上的噪声越小，

随机值影响越小，准确率的波动越小。

3.4 用户数量对迭代轮数的影响

本文记录了用户数为30 ~100时，用户数量对训练

过程中迭代轮数的影响。由于MA机制不受训练数据影

响，故本文记录了数据集为MNIST时，用户数量对迭

代轮数的影响，如图6所示。

从图6分析得到，在训练过程中，迭代轮数随着

70

图6 用户数量对迭代轮数的影响

用户数的增多而增多。这是因为在MA机制中，隐私

损失与用户数量呈反比。用户数越多，每轮的隐私损

失值越小，达到Q的时间越长，训练的轮数越多。

3.5 掉线对模型准确率的影响

本文首次对用户掉线情况进行了处理。当

ε

=1时，

分别对100个用户掉线50%与共有50个用户无掉线两

种情况的准确率进行对比。MNIST准确率变化如图

7 a）所示，Fashion-MNIST准确率变化如图7 b）所示。

a）MNIST

b）Fashion-MNIST

图7 掉线对模型准确率的影响

用户掉线处理与无用户掉线相比可得，MNIST与

Fashion-MNIST的准确率相差不大，曲线基本一致，并

且收敛速度相同。这说明本文用户掉线处理对模型收

敛速度没有影响，可以很好的还原掉线用户模型训练

过程中的噪声。

4 结束语

针对联邦学习面临的黑盒推理攻击问题，本文提

出了一种面向用户的支持用户掉线的联邦学习数据隐

私保护方法，能够支持参数保护的联邦学习隐私保护

系统且能够容忍用户掉线。基于差分隐私的序列组合

性质，从用户角度添加噪声。对联邦学习差分隐私方

法进行掉线处理，使得本文方法能够容忍用户掉线。

实验结果表明，当

ε

=1、m=50时，本文方法可以在模

型可用性和隐私性之间取得平衡，且相比已有方法首

次支持用户掉线。建立有效的激励机制，能够鼓励更

多用户参与到联邦学习中。设计一个带有激励机制的

联邦学习隐私保护方法，是接下来的研究目标。

参考文献：

[1] CUSTERS B, SEARS A M, DECHESNE F, et al. Information

Technology and Law Series[M]. USA: Oxford University Press, 2019.

[2] MCMAHAN B, MOORE E, RAMAGE D, et al. Communication-

efficient Learning of Deep Networks from Decentralized Data[C]//JMLR.

20th International Conference on Artificial Intelligence and Statistics

(AISTATS). April 20-22, 2017, Fort Lauderdale, FL, USA. New York:

JMLR, 2017: 1273-1282.

[3] YANG Wensi. Research on Credit Card Fraud Detection System Based

on Federated Learning[D]. Shenzhen: University of Chinese Academy of

Sciences (Shenzhen Institute of Advanced Technology, Chinese Academy

of Sciences), 2020.

阳文斯.基于联邦学习的信用卡欺诈检测系统研究[D].深圳：中国科

学院大学（中国科学院深圳先进技术研究院），2020.

[4] CHEN Guorun, MU Meirong, ZHANG Rui, et al. Implementation of

Communication Fraud Recognition Model Based on Federated Learning[J].

Telecommunications Science, 2020. 36(S1): 304-310.

陈国润，母美荣，张蕊，等.基于联邦学习的通信诈骗识别模型的实现[J].

电信科学， 2020. 36（S1）：304-310.

[5] SHOKRI R, STRONATI M, SONG C, et al. Membership Inference

Attacks Against Machine Learning Models[C]//IEEE. IEEE Symposium

on Security and Privacy, May 22-26, 2017, San Jose, CA, USA. New

Jersey: IEEE, 2017: 3-18.

[6] FREDRIKSON M, JHA S, and RISTENPART T. Model

Inversion Attacks that Exploit Confidence Information and Basic

Countermeasures[C]//ACM. Proceedings of the 22nd ACM SIGSAC

2021

年第

3

期

技术研究

Conference on Computer and Communications Security, October 12-16,

2015, Denver, CO, USA. New York: ACM, 2015: 1322-1333.

[7] WU X, FREDRIKSON M, JHA S, et al. A Methodology for

Formalizing Model-inversion Attacks[C]// IEEE. IEEE 29th Computer

Security Foundations Symposium (CSF), June 27-July 1, 2016, Lisbon,

Portugal. New Jersey: IEEE, 2016: 355-370.

[8] DWORK C. Differential Privacy: A Survey of Results[C]//Springer.

Theory and Applications of Models of Computation, 5th International

Conference, TAMC, April 25-29, 2008, Xi'an, China. Heidelberg:

Springer, 2008: 1-19.

[9] PATHAK M A, RANE S, RAJ B. Multiparty Differential Privacy

via Aggregation of Locally Trained Classifiers[C]//MIT Press. Advances

in Neural Information Processing Systems 23: 24th Annual Conference

on Neural Information Processing Systems 2010, December 6-9, 2010,

Vancouver, British Columbia, Canada. Cambridge: MIT Press, 2010:

1876-1884.

[10] DWORK C. Calibrating Noise to Sensitivity in Private Data

Analysis[C]//Springer. Theory of Cryptography, Third Theory of

Cryptography Conference， March 4-7, 2006, New York, USA. Berlin:

Springer, 2006: 265-284.

[11] ROBIN C G, TASSILO K, MOIN N. Differentially Private

Federated Learning: A Client Level Perspective[C]//MIT Press. Neural

Information Processing Systems, December 8, 2017, Long Beach, USA.

Cambridge: MIT Press, 2017: 1-7.

[12] PHONG L T, AONO Y, HAYASHI T, et al. Privacy-preserving Deep

Learning via Additively Homomorphic Encryption[J]. IEEE Transactions on

Information Forensics and Security, 2018, 13(5): 1333-1345.

[13] KANG Wei, LI Jun, MING Ding, et al. Federated Learning with

Differential Privacy: Algorithms and Performance Analysis[EB/OL].

/10.1109/TIFS.2020.2988575, 2021-01-04.

[14] SUN Lichao, QIAN Jianwei, CHEN Xun, et al. LDP-FL: Practical

Private Aggregation in Federated Learning with Local Differential

Privacy[EB/OL]. /abs/2007.15789, 2020-08-03.

[15] DWORK C, ROTH A. The Algorithmic Foundations of Differential

Privacy[J]. Found Trends Theor Comput Sci, 2014, 9(3-4): 211-407.

[16] MCSHERRY F, TALWAR K. Mechanism Design via Differential

Privacy[C]//IEEE. 48th Annual IEEE Symposium on Foundations of

Computer Science (FOCS'07), October 20-23, 2007, Providence, RI,

USA. New Jersey: IEEE, 2007: 94-103.

[17] MCSHERRY F. Privacy Integrated Queries: An Extensible Platform

for Privacy-preserving Data Analysis[C]//ACM. Proceedings of the 2009

ACM SIGMOD International Conference on Management of Data, June

29-July 2, 2009, Providence, Rhode Island, USA. New York: ACM,

2009: 19-30.

[18] ABADI M, CHU A, GOODFELLOW I J, et al. Deep Learning with

Differential Privacy[C]//ACM. Proceedings of the 2016 ACM SIGSAC

Conference on Computer and Communications Security, October 24-28,

2016. Vienna, Austria. New York: ACM, 2016: 308-318.

71