2023年11月25日发(作者:oppor9s价格)
第38卷第2期 计算机应用与软件Vol38No.2
2021年2月 ComputerApplicationsandSoftwareFeb.2021
面向金融云的超高吞吐新型金融DMZ网络
,2113
涂晓军 孙 权 蔡立志
1
(中国银联股份有限公司 上海201201)
2
(复旦大学 上海200433)
3
(上海计算机软件技术开发中心上海市计算机软件评测重点实验室 上海201112)
摘 要 DMZ网络区域是金融行业非常典型的一个网络区域,用于隔离不可信外网与可信内网之间的网络流
MZ区域成本高昂、吞吐性能无法水平扩展等问题,提出并实现一种极简架构、超高吞吐的金融量。针对现有D
DMZ区实现方法,可以减小DMZ区部署设备数量与复杂度,同时提升吞吐性能。
关键词 开放交换机 自主可控 金融云
中图分类号 TP3 文献标志码 A DOI:10.3969/j.issn.1000386x.2021.02.019
HIGHTHROUGHPUTFINANCIALDMZNETWORKFORFINANCIALCLOUD
11,23
TuXiaojun SunQuan CaiLizhi
1
(ChinaUnionPayCo.,Ltd.,Shanghai201201,China)
2
(FudanUniversity,Shanghai200433,China)
3
(ShanghaiKeyLaboratoryofComputerSoftwareEvaluating&Testing,ShanghaiDevelopmentCenter
ofComputerSoftwareTechnology,Shanghai201112,China)
Abstract DMZnetworkareaisaverytypicalnetworkareainthefinancialindustry.Itsmainfunctionistoisolate
networktrafficbetweentheuntrustedexternalnetworkandthetrustedinternalnetwork.Thecurrentimplementationof
theDMZzonehasproblemsofinsufficientthroughputandhighcost.Inthisregard,thispaperproposesasimple
architectureandultrahighthroughputfinancialDMZareaimplementation.Itsignificantlyreducesthenumberand
complexityofequipmentdeploymentintheDMZ,anditcangreatlyimprovethethroughputperformance.
Keywords Openswitch Secureandcontrollable Financialcloud
求。银联核心的互联网产品云闪付也发展迅猛,带来
0 引 言
近年来,随着金融云建设的深入以及金融科技
的发展,金融云的组网面临着转型与升级的可能。
其中的驱动力主要由业务与技术的双重因素所决
1-3][
定。
4][
。整个金融行业的整合正在加了巨大的互联网流量
速,尤其在金融科技的技术栈越做越深之后,头部金融
机构主导的行业化服务正在兴起,大型的金融行业云
MZ网络区域是逐步形成,互联网流量将大量接入。D
金融行业非常典型的一个网络区域,用于隔离不可信
外网与可信内网之间的网络流量。如何构建架构简
单、高吞吐量,以支撑海量的互联网入口流量是金融机
构普遍关注的一个问题。
随着断直连监管措施的落地,银联接入了大量小
额高频的交易,对信息系统的并发度提出了很高的要
2020-06-04。上海市优秀学术/技术带头人计划项目(19XD1433700)。涂晓军,高工,主研领域:云计算,大数据,收稿日期:
移动支付。孙权,教授级高工。蔡立志,教授级高工。
第2期 涂晓军,等:面向金融云的超高吞吐新型金融DMZ网络 111
1 当前金融DMZ区实现方案
通常,金融数据中心的外网流量通过DMZ区进行
接入。DMZ网络区域是金融行业非常典型的一个区
域,它的主要作用是隔离、代理不可信外网与可信内网
之间的网络流量。针对当前DMZ区的实现存在吞吐
5专不足、成本高的问题,普遍的做法是采用昂贵的F
用负载均衡设备,数十台交换机用于流量转发,上千台
服务器做Web反向代理,如图1所示。该方案存在如
下问题:
1)成本高昂:构建一个DMZ区需要用到大量的
设备,包括昂贵的F5专用负载均衡设备、数十台交换
机和上千台服务器。
2)吞吐能力不足:即使采用了上述大量的设备,
DMZ区的吞吐能力仍然较低,通常小于100Gbit·s。
-1
这对于银行业大流量的互联网业务(例如云闪付、融e
联等)来说,在开展商业促销活动时会遇到瓶颈,无法
满足未来的需求。
3)无法水平扩展:整个集群的最大吞吐能力受限
于最前端的F5负载均衡设备,扩容量只能更换新型号
设备,无法水平扩展。
图1 基于F5的DMZ网络方案
2 网络设计
2.1 方案设计
本节针对现有DMZ区域成本高昂、吞吐性能无法
水平扩展等问题,提出一种极简架构、超高吞吐的金融
DMZ区实现方法,在大幅减小DMZ区部署设备数量
与复杂度的同时能够极大地提升吞吐性能,如图2
所示。3)将清洗过后的流量引到核心App区。
图2 新型DMZ网络架构图
整个DMZ区仅由一台可编程交换机和一个加强
型服务器集群构成。可编程交换机侧主要负责入口流
量的四层报文的处理,其中涉及的功能如下:
1)四层的防火墙:依据黑白名单的地址以及内置
检测DDoS的算法,对一部分非法流量进行预清理。
2)四层的负载均衡:依据所访问的服务目的地址
(通常是一个服务的IP),通过查找表项以及Hash算
法将目的地址转换为实际的服务实例。
3)流量转发:将流量导入至服务器进行更高层的
报文处理。
在加强型服务器集群中,为了使服务器端七层的
报文处理达到更高的性能,需要配置加解密卡和
25Gbit智能网卡,以便于将部分的工作从CPU卸载至
专用硬件上。加解密卡用于卸载HTTPS加解密的流
量处理,例如IntelQAT卡;25Gbit智能网卡用于实现
25Gbit·s的高吞吐,同时其还具备Vxlan、UDP分
-1
片、TCP校验等硬件处理功能,从而可以最大限度地降
低CPU的处理负担,并且使得报文的处理延时能够有
确定性的保障。软件层面采用Nginx服务器做七层的
负载均衡、http反向代理、深度包检测过滤等工作。
2.2 工作流程
本文方法流程如图3所示,Internet流量进入后,
包括3个步骤:
1)交换机先处理四层的流量,包括四层DDoS防
护、四层负载均衡。
2)服务器集群负责七层报文解析,包括DPI深度
包检测、HTTPS加密流量卸载、HTTP反向代理。
112 计算机应用与软件2021年
图5 负载均衡流水线示意图
负载均衡方案的实现难点是PCC(PerConnection
)有状态连接保持,需要控制面参与配合,Consistency
图3 新型DMZ网络流向示意图
2.3 DMZ网关技术原理
本文方案在网关处采用了P4SDN可编程交换的
技术以及可编程交换芯片实现超高的吞吐量级。
[5-7]
P4的可编程模型是相对于传统固定流水线的交换芯
片而言的,它的架构是基于PISA(ProtocolIndependent
SwitchArch)全流水线可编程的架构。可编程交换芯
片示意图如图4所示。
图4 可编程交换芯片示意图
该架构的基本单元是matchactiontable,其中
match单元可以匹配任意报文的偏移与字段长度;
action单元则有相对比较丰富的报文编辑功能;此外,
片上的存储资源SRAM与TCAM也可以进行全局灵活
的配置。
整个P4的控制过程包括包头解析、可编程入流水
线、可配置缓存管理TM,以及可编程出流水线的处理。
对应的编程框架包括:自定义报文头,matchaction表
项的定义、全流水线控制流的串接。可以看出,P4模
型的核心特征仍然是基于网络包处理的高速交换,它
可以实现Packet通信相关事件的处理,灵活匹配,灵
活编辑,以及小容量的高速存储查找。
2015年Facebook利用Tofino商用芯片的P4可编
程技术实现了能够存储1000万条表项的有状态四层
负载均衡,单交换芯片的能力相当于一百台服务器的
软负载均衡性能。本文方案也是借助于P4的可编程
模型,实现有状态的四层负载均衡,其流水线如图5
所示。联,如图6所示。
并且在流表中记录下每个新建连接的状态。此外,为
了实现负载均衡的地址池,以及来回报文的原路处理,
在去程还需要实现DNAT,回程需要实现SNAT,并且
定期需要广播或者响应虚地址的ARP请求。
3 关键技术目标设计实现
3.1 吞吐容量设计实现
吞吐量和DMZ网关的重要指标。我们以
6.4Tbit·s规格的可编程交换机(采用BarefootTofino
-1
交换芯片)为例,设计和规划整个系统的吞吐容量。
6.4Tbit·s规格的可编程交换机有64个
-1
100Gbit·s的端口,其中:
-1
(1)10个端口用于接收外部进入的流量
(100Gbit·s×10=1Tbit·s)。
-1-1
(2)50个端口用于挂载服务器,每个服务器配置
25Gbit·s网卡,因此可以挂载100Gbit/25Gbit×
-1
50=200台的服务器用于处理。
(3)剩余4个端口用于流量的输出(100Gbit·s×
-1
4=400Gbit·s),输出到最终的App区。
-1
(4)交换机的片上资源(SRAM+TCAM)可用于
存储表项,约可以存储100万条的有状态四层连接。
通过64个端口的规划设计,整个DMZ集群的吞
吐量可以达到Tbit·s级别,并且在交换机中可以实
-1
现高达100万条有状态流表的负载均衡,性能已经远
超市场上现有的四层负载均衡设备。
3.2 高可用设计实现
前述的原型设计中,前端只有一台可编程交换机
设备,在实际的生产应用中,必须有高可用的保障。
由于单台交换机已经能够达到很高的吞吐性能,
利用2台可编程交换机,实现主备高可用,所有的服务
器均双联至两台交换机,同时出入口的链路也进行双
第2期 涂晓军,等:面向金融云的超高吞吐新型金融DMZ网络 113
图6 高可用设计示意图
正常状态下,备用交换机的链路上没有流量。当
有新的流创建时,控制平面同时写入两台交换机的表
项之中,使得备用交换机可以与主交换机拥有相同的
流状态表项。当主交换机异常时(通过监控其指标状
态),则控制服务器立刻切换出入口的流量到备用交
换机。由于备用交换机与主交换机拥有相同的流状态
表项,因此连接的出口依旧能够保持,所有的流并不会
中断,由此实现平滑切换。
3.3 可扩展设计实现
在实际的生产应用中,还需要考虑未来的容量可
扩展方案。在此提出两种可扩展的方式:
一是纵向扩展方法(scaleup),即换用更高规格的
交换机。当前12.8Tbit·s规格的交换机也已经出
-1
现(交换机的规格一般2~3年可以增长一倍),所对
应的吞吐能力可以翻番。
二是横向扩展方法(scaleout),需要两层的交换
机,如图7所示。第一层交换机先依据IP前缀等简单
规则对报文先做一次分流到下一级的交换机,下一级
的交换机再实现严格的四层负载均衡,由此可以实现
整个集群最高十倍以上的横向吞吐扩展。
图7 横向扩展示意图
4 实现对比与效果
图8展现了传统DMZ网络方案与本文所提出的
新型DMZ网络方案的实现对比。
(a)传统DMZ方案 (b)本文方案
图8 实现对比示意图
本文方案主要有以下优势:
1)单对交换机+服务器集群的极简架构。相较
于F5方案,本文方案将F5四层与七层的负载均衡功
能分别下沉到交换机与服务器的位置进行处理,构成
了单对交换机+服务器集群的极简架构,极大提升了
系统的可维护性。
2)使用更少的硬件资源。相比传统的方案昂贵
的F5专用负载均衡设备,数十台交换机用于流量转
发,大量服务器做Web反向代理,本文方案硬件成本
仅为F5实现方案的20%。
3)实现更好的网络性能。根据实测结果对比,新
型DMZ方案达到10倍以上的吞吐量提升,达到
Tbit·s级别,能有效应对互联网入口的巨大流量。
-1
表1对比了本文方案与基于软件转发的实现和专
用硬件实现的技术参数与成本。
[8-10]
表1 DMZ区方案实现对比
方案吞吐性能硬件成本可定制性时延/ms
本文20万灵活<1
1Tbit·s
-1
开源软件解决
方案(LVS等)
10~20Gbit·s
-1
0灵活10~100
国外F5厂商负无法定
100Gbit·s
-1
载均衡设备制需求
>100万<1
5 结 语
本文针对现有金融DMZ区域成本高昂、吞吐性能
无法水平扩展等问题,提出一种精简架构、超高吞吐的
金融DMZ区实现方法,在大幅减小DMZ区部署设备
数量与复杂度的同时可以极大地提升吞吐性能;通过
一对可编程交换机加服务器集群的精简设备组,实现
原有10倍以上的吞吐能力。本文方案中交换机同时
(下转第139页)
第2期 高宗斌,等:基于TYOLOLITE树干检测的模型部署方法 139
2017:133-135.[17]陈江昀.一种基于深度学习的新型小目标检测方法[J].
[8]徐敏.从阿里金融云的实践看金融上云的意义和路径
J].清华金融评论,2016(11):104-106.[
[9]陈磊.5.0V—基于SDN的腾讯次世代数据中心网络架构
[EB/OL].(20180130).https://cloud.tencent.com/de
veloper/article/1032288.
[10]闫浩.SDN网络与传统网络对比分析[EB/OL].(2017
0316).https://www.sdnlab.com/18725.html.
计算机应用与软件,2017,34(10):227-231,247.
[18]ZhangJ,HeL,KarkeeM,etal.Branchdetectionwithapple
treestrainedinfruitingwallarchitectureusingstereovision
andregionsconvolutionalneuralnetwork(RCNN)[C]//
ASABEAnnualInternationalMeeting.Spokane:American
,2017:2SocietyofAgriculturalandBiologicalEngineers
-11.
[19]ShahU,KhawadR,KrishnaKM.Detecting,localizing,and
recognizingtreeswithamonocularMAV:Towardspreventing
deforestation[C]//2017IEEEInternationalConferenceon
RoboticsandAutomation.IEEE,2017:1982-1987.
[20]陆维娜,胡瑜,叶靖,等.面向卷积神经网络加速器吞吐量
优化的FPGA自动化设计方法[J].计算机辅助设计与图
形学学报,2018,30(11):2164-2173.
[21]张洋硕,苗壮,王家宝,等.基于Movidius神经计算棒的行
人检测方法[J].计算机应用,2019,39(8):2230-2234.
[22]张云轲,刘丹.基于小型ZynqSoC硬件加速的改进TINY
YOLO实时车辆检测算法实现[J].计算机应用,2019,39
(1):192-198.
[23]RachelH,JonathanP,CuixianC.YoloLITE:Arealtimeob
jectdetectionalgorithmoptimizedfornongpucomputers
[EB].arXiv:1811.05588v1,2018.
(上接第113页)
负责转发流程和四层负载均衡,服务器负责七层负载
均衡,将原有F5负载均衡的能力分布到了交换机与服
务器集群中。同时,还充分利用加密卡、25Gbit智能
网卡等硬件设备的加速特性以提升整体集群的性能。
参考文献
[1]李伟.银行业金融机构实施分布式架构的思考[J].金融EarthObservationsandRemoteSensing,2014,7(12):4620
电子化,2016(12):19-21.
[2]瞿秋平.分布式架构在证券业信息化建设中的规划思考
[J].金融电子化,2016(12):17-18.
[3]王和.分布式,未来的必然选项———中国人保财险的思
考与实践[J].金融电子化,2016(12):14-16.
[4]柴洪峰.中国银联专用云的探索与实践[EB/OL].第七届
中国云计算大会演讲实录.(20150603).https://www.
csdn.net/article/20150603/2824858.
[5]McKeownN.Softwaredefinednetworking[C]//International
ConferenceonComputerCommunications,2009.
[6]BosshartP,DalyD,GibbG,etal.P4:Programmingproto
colindependentpacketprocessors[J].ACMSIGCOMM
ComputerCommunicationReview,2014,44(3):87-95.
[7]LeeJ,MiaoR,KimC,etal.Statefullayer4loadbalancing
inswitchingASICs[C]//SIGCOMMPostersandDemos,
(上接第131页)
[11]MusciM,FeitosaRQ,CostaGAOP,etal.Assessmentof
binarycodingtechniquesfortexturecharacterizationinre
motesensingimagery[J].IEEEGeoscienceandRemote
SensingLetters,2013,10(6):1607-1611.
[12]CaiD,HeX,HanJ.Speedupkerneldiscriminantanalysis
[J].TheVLDBJournal—TheInternationalJournalonVery
LargeDataBases,2011,20(1):21-33.
[13]BrownM,SüsstrunkS.MultispectralSIFTforscenecategory
recognition[C]//ComputerVisionandPatternRecognition
(CVPR),2011:177-184.
[14]SandeKVD,GeversT,SnoekC.Evaluatingcolordescriptors
forobjectandscenerecognition[J].IEEETransactionson
PatternAnalysisandMachineIntelligence,2010,32(9):
1582-1596.
[15]YangY,NewsamS.Bagofvisualwordsandspatialexten
sionsforlanduseclassification[C]//18thSIGSPATIALIn
ternationalConferenceonAdvancesinGeographicInforma
tionSystems,2010:270-279.
[16]ZhaoLJ,TangP,HuoLZ.Landusesceneclassificationu
singaconcentriccirclestructuredmultiscalebagofvisual
wordsmodel[J].IEEEJournalofSelectedTopicsinApplied
-4631.
[17]ZhaoL,TangP,HuoL.A2Dwaveletdecompositionbased
bagofvisualwordsmodelforlandusesceneclassification
[J].InternationalJournalofRemoteSensing,2014,35(6):
2296-2310.
[18]ChenS,TianYL.Pyramidofspatialrelatonsforscenelevel
landuseclassification[J].IEEETransactionsonGeoscience
andRemoteSensing,2015,53(4):1947-1957.
[19]CheriyadatAM.Unsupervisedfeaturelearningforaerial
sceneclassification[J].IEEETransactionsonGeoscience
andRemoteSensing,2014,52(1):439-451.
[20]ShaoW,YangW,XiaGS,etal.Ahierarchicalschemeof
multiplefeaturefusionforhighresolutionsatellitescenecate
gorization[C]//9thInternationalConferenceonComputer
VisionSystems,2013:324-333.
发布者:admin,转转请注明出处:http://www.yc00.com/num/1700852603a1031425.html
评论列表(0条)