2023年7月19日发(作者:)
第30卷第lOWl计算机工程2004年5月丝兰丝!!‘博士论文’!!竺!竺!!竺!竺竺jttltlllq。loo¨342B(20041Io珈012川2墼型!!些文黼识码l^中田分类鼍,TP312基于Cache优化的Web集群负载均衡算法姆安丰。陈右■,邓瞄钉,曾碧■(中南大学信息科学与工程学院,长沙410083)搞蔓:Web粜群的caching优化对提高系统性能起重受柞甩。从基于cachingt觉化的角度出发。以事务为一个完整的划分单元,形成Web集群的垣存集。提出了基于事务缓存优化鳙略。在此基础上给出厂一种基]=cache的负载均衡算法。关量■:Web集群;Cache优化;负载均衡Load—balancingAlgorithmBased(CollegeofInformationonCache—optimizingforXiaoheng,ZENGWebBiqingWebBasedClusterLIUAnfeng,CHENZhigang,DENGScienceandEngineering,CentralSouthUniversity,Changshatheenormousimprovementthewhole410083)cacheoptimizing,【AbstractICacheoptimizingofWebclusterc锄leadclustersystemregardingtransactionafulldivisioryunit.constitutingcachingsetsofWebclusterAncacheoptimizingpolicyhasedontaskisintroducedThen,aload-balancingalgorithmbasedcacheisintroduced[Keywords]Webcluster;Cacheoptimizing;I由ad、balancing同前,毖于单一系统映像的Web服务器集群系统足为改善Web站点的响应速度而应用得最广泛的一种方法,这种方法把若干性能较低的服务器用局域网联结成一个性能较高的整体:即web服务器集群,使其从客户端看来就如同一台服务器在服务。Web集群的模型如图I所示。它是基于分发器(Dispatcher)的w曲集群,处于前端位置的dispatcher基于TcP端口和后靖服务器的负载信息来分发请求,后端真实服务器直接将服务返回给客户。抖蝴雎务措}E‘州’。U’这种策略是QoS_unware的。文献【2】根据只有完整的事务完成才是有收益的,采用了基于事务的控制策略,显著地提高了系统的性能,这种策略是ooSware的。本文缓存的基础是基于事务的缓存:即一个事务是缓存的基本单元。此外采用基于事务的缓存策略还在于wet,粜群系统下面的一个性质。性■I后台服务器事务之间的不可迁移性这是目前国内外基于dispatcher的web集群结构系统的一个重要特征。目前的Web集群体系结构中还未能做到事务的迁移,也就是说:一个事务发往一后台真实服务器后,随后的事务请求也要发往该服务器。~…..;dr-(u?):c个1.2■存与负羹均膏盼关系lI)缓存与负载的关系由于wcb集群系统缓存的文档可以分为2种:一种是静态文本(如.html、.Jpg)。另一种是动态文本(.cgi、.jsp、.asp等)。如果缓存的是静态文本,服务器所做的工作就是将缓存中的文本输出到网络中;如果是动态文本将主要是计算密集的。即高CPU的。文献[31的研究指出动态文本的负载量是静态文本的100倍.我们知道,缓存的主要目的是节省从慢速的存德设备读数据的时间,但是,如果集群系统中不考虑负载情况的话,可能出现有的服务器分配的大多是静态文本(内存占用大,负载量小),而有的服务大多是动态文本(内存占用少,负载量大),出现的情况就是:分配动态文本的服务器,一直CPU忙碌,而I/O空闲。而分配静态文本的服务器一直I/(9忙碌,而CPU空闲。如果能将这两者结合起来,既考虑负载均衡又考虑缓存,使系统的服务器I/0与CPU都工作。定艾l单位缓存负载比,指服务器单位馕存事务的负载量,记为nc)=l/r,I是负鹱量,r是馕存空间。基盘疆茸:湖南省自然科学基金资助项目(02JJY2097)分Z舀*、-i‘]■1w=b|lUl曩■榛直啊l量存优化与负羹均衡缓存对提高系统性能有很好的作用。国内外对缓存技术有较好的研刿”。主要集中于缓存替换策略:如最近最少使用(1eastt_ecentlyused,LRU)算法等。而对缓存策略的评价指标主要有两个:文本重用率与字节重用率。但对于Web集群系统的研究还存在许多有待解决的问题。在web集群中,每白真实服务器的内存为r,如果每个结点存放的是相同的数据,那么,搀个系统的RAM只有r,实际上整个系统的内存可以达到n+一p’其中n为真实服务器个数,p为系统有效的整合率;更重要的是,如何将缓存策略与负载均衡策I*结合起来,形成缓存一致,负载均衡的web集群系统是以前研究得不够的地方。1.1基于事务曲■存橇式分析目前对pWeb4集.群的缓存策略是与系统的应用情况无关的。实际上,有这么一种现象,人们往往上髓站的主页很快。特别是像电子商务活动,再向下进行就很慢,原因是,采用传统的方法.一般来说,事务开始的页面由于访闭颇度高会在缓存中。所以很快,但随后的页面就不一定缓存了,作者■舟:刘安丰(197l一),男.博士生,研究方向为分布式系统WebOoS;陈意刚.教授、博导;邓晓衡、曾碧卿,博士生收一日■:2003-04—28E-mail:liuanfeng}Ie@163net一12一万方数据 (2)如何确定负载量只有清楚事务的负载量才能确定优化的分配原则,事务的负载量有两个方面的含义:一是完成此事务需要的负载量,这可以通过实验来确定不同事务的负载量;二是在调整周期内的总负载量,可表示为调整周期内的此事务请求服务次数和完成一次此事务负载量的积。调整周期内的事务的访问次数可以通过时间序列法进行预测,将在F一小节介绍。(3)负载均衡的目的从上面的分析看到,负载均衡的目的是:1)尽量多曲缓存.使服务器的内存利开j率最高;2)使罐个服务器的自身的单位内存负戟比(服务器的负载能力‘i整个内行的比值)与分配结它的单位缇存负载比(已缓存贞面的负载髓与已占}}I的内存空间的的比值尽戢相等;31负载嚣尽照达到每个服务器的最大值。这样整个系统的缓存都充分利用,负载量基本平衡。1.3负羹量的删对给定时间段某事务的访问负载量用时间序列分析4I来预测,随机过程Y:TxQ_+R(T是时域空间,Q是抽样空间,R是集)作时间序列分析是对该随机过程所产生的有限时间序列{Mlt=l,…,T进行统计。通过模型化分析得到的条件密度RMl-f。1IY。=M小Y。,.-,Y。为历史过程)来评估当前变量值圹E[州V.]+£..其中E[川Y。]是历史过程V..已知下M可以预测的部分,这就是要预测的事务负载量,£.表示无法预测的部分,即预测误差。2优化算法2.1问曩的羹学抽连缓存优化的负载均衡问题可以化成下面音g数学形式:在一个异构web集群系统中.已知有m台真实服务器,记为w。w:,…,V‘.罐台真实服务器的内存大小为:R.,R’,…,k,它的负载能力分别为L.,k,…,k。现在有n个可以缓存的A.,A!,…,^事务序列,每个缓存的事务需要的内存空间大小为r..7矿·,r.,相应的负载量分别为,。,I一一,,.。试确定一个优化的分配方案:使每一台服务器的负载能力与内存都得到充分利用。也就是使各台真实服务器的内存与负载能力无效利用率最低。记作如下:x。={I,事务A在w中缓存;0,事务A。不在W中缓存,I滓I“2..,n;.-I“2一,m}。胪{ltWj中缓存应用;0,wj中不缓存应用U=l,2,…mj。制定一个分配计划,就是要确定一组0-I变量K和抓滓I“2-.,n;j=I“2一.m)的值,使之满足下列约束条件:(1)每一个应用最多只能缓存在一个服务器中。即:(2)每台真实服务器的总缓存量不能超过它的内存.即:∑‘h≤V,·y,j=J如-,m(2)(3)每台真实服务器缓存的应用所负载量不超过服务器的负载能力,即:∑,,h≤L,-Y,j=l“2.-m(3)满足式(I)一(3)的一组解为一个分配方案,其分配的缓存总量、总缓存负载量分别为万 方数据r,=∑∑r,x。一=∑∑,,x。要选择一个最优分配方案,就是要求一组椭足式(1)--(3)的一组解x.,和Y,,使r和7;达到最大。这个问题叫作缓存优化负载均衡问题。定曩l缓存优化负载均衡(CachingOptimalLoadBala-ncingCOLB)问题是一个NP完全问磨:证啊COLB可转换为多目标的背包问越与集合划分问题”‘的混台,将事务分配刘各服务器上返到负载均衡是一个集台划分问题,l刑辱哪峰事务放在某一服务器上是背包问题。背包问题是NP完全问题,集合划分问题也是NP完全问题。日.其是COLB问题的子问题,故COLB问题也是NP完全问题,证毕。2.2算法算法主要思想如下:从上面的分析可知,单目标背包问题是NP完全问题,一般只能求近似解,而对于多目标问题,通常需化为单目标后再求解。令C·爿刍.‘/刍o…r);C、=刚L,c’为等持分配事务的总需内存空间与总负载量之比,C’为某台服务器的内存空间与负载能力之比。在为服务器分配应用任务时。要使服务器所分配的任务能缓存和负载量尽量多,也就是要使服务器尽量多分配事务,且使服务器内事务的c’尽量接近服务器的c’,即确定一个集合scN,使Ic’·c|达到最小,且满足∑‘!£和∑‘sR对任意不在s中的元素j,有丢”p缄酗+rIⅫ当c.>c、时,说明待分配的任务主要是静态页面为主,分配任务时。主要需求是内存的大小。反之,说明待分配任务主要是负载密集型的任务,主要考虑指标是服务器的负载能力。算法的主要方法是为已经分配任务的服务器集合S。,%…,Sm.每次为剩余内存空闯最大或剩余负载船力最大的服务器寻找一批最合适的任务。直到所有的服务器都满足条件为止。算法目的如下:将n个事务划分为m个互不相交的子集S。。瓦…,s。使各服务器的剩余负载量(£,·£"·£,l和剩余内存空间(置,Br.,以)最少。算法如下:R(I)letcl.=_上j=1.2.一.m;即T-‘j=l,2.….n;主一,芝-cn+=j}~;c扩七L一;∑L.∑,。sF中滓12.…,m∥树始化各参数;t2)inc矿(cn)thens州一mmorgrf)懈事务接内存占用大小Ⅳ,.非增次序排列elsesorUoad(I.)://{每事务按负载量大小/,非增次序排列。排憎;后结果N={il,i!,一i。:(下转第42页)一13一效,结台当前的电动机转角。考虑这些转角对空间坐标的影响,再进行相应的逆变换.最终得到相对干机器人身体中心朝向的三维坐标。很多情况下,高层模块只会对其XY平呵的i维‘b标信息撼兴趣.简睢地忽略掉Z坐标(高度)信息。图4中给出了3幅直接从机器人头部摄像机截获的原始图片,每幅对应的下面是进行了图像分割的效果图像。物体识别器从各个统计出的色块的几何信息中辨认出来的场地上面的物体列表见表I,实验结果跟实际测量值很吻合。在实际的机器人身上运行的时候,呵以达到25帧/s的处理速度,基本满足机器人实时性反馈的需求。5实验结果6结束语本文探讨了一种自主机器人的视觉功能模块划分和实现,提出了一种快速、低耗的图像处理和信息抽取方法。相对于~些传统的耗时的图像处理算法,本算法在时效和复杂度上都有很大的提高。基于颜色表的分色方法和快速行扫描图像分割方法是算法的两个重要部分,是机器人具有实时反馈能力的保证。在2001年和2002年两届RoboCup比赛中应用了本文的方法和算法,取得了较好效果。比赛中,机器人反(b)瑚4—持墨片寰I并识糖果衰I划像缩',(al应快迷,识别准确。与参赛的各国强队基本处于同一水平,为我国唯一4腿机器人队——“科大蓝鹰”进入世界8强,提供了有力的保证。仙订¨一搞仙钾偏地·23J盟1619.401molU㈨…{的糊{{l。I、州卸‘ph、I·86I3.I9279.-2285J2274.一l242参考文簟IKhanoH.Kuniy惦hiY.blodaIRdooCup:AChallengeP曲旧nforA1嗵bJ、0球曲球门AIMagazine、1997,18{I7:73-853795.1Ib.2】2陈小平国际机器人足球(RoboCup)最新进展.机器人技术与应用.2001,(I)3【3946.I1142I-1235【989【.4593,-24l910l17J业4J韭(b)逆杯2逝bJ,4球5020.147VelmoM,WinnerBehaviorsfbrE.LcnsorS,etalVision—servoedLocalizationmad0.33380·5537665-i263489mm85铆nm-20Jn6瞳·i0胜4AutonomousQuadrupedLeggedRobotArtificial4l4I61IntelligencePlanningSystems.2000with(ci越br5醢球门球2,2615.6.q54VehoM.UtherW.FuiiraM,ecnj.PlaylogSoccerInLeggedRobots『8368.I9379.·312f-93,.I66023J业i645areaProceedingsof|ROS·98,IntelligentRobotsandSystemsConference,2.-487.6I·3,亟Victoria,Ctmada,1998·10☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆Cr☆☆☆☆☆★"A-☆☆☆☆☆☆☆【上接第13页)Ⅳ大的服务器鼍曩第12)步的排序需耍n.10卯孜运算t但第(2)步计算一次后_3篓Ⅵ+g)p=sel“l-memo皑)恺取剩余内存洲.最elsep=select;盂篡雪鬻解一。涉艨默憩舶雌氯戢卸蝴第(3)步到第18)步循环内。各步计算都悬n的一次运算,gt,g遥算次数为()(nIogn+mnpO(n2m)。证毕。l““(L.I.∥选取剩系负戟能力£,最大的服务著{{,//|fd.所进元素勾p(4)扎r(2)模拟实验我们用计算机产生大量的实倒数据,用上述算法进行模拟计算,所得到的结果较好,一般的真实服务器负载能力与内存利用率达到93%以上。2王,.t一2蠢‘;。j争生Ⅳ末p台服务器内事//务占用的缓存空间、负戟及比值(5)if(C>Cp¨.select—first_transaction(it//选取第~个横是条件的,,事务iG(Cp+:clse4结论本文以事务为一个完整的缓存单元,主要针对缓存与负载均衡的双目标求解,但Web-JlE群系统是非常复杂的,涉及高维目标的求解与优化是今后的研究方向。select—first—transaction(i);//选取第一个满足条件的事务i://C≥Cp·:选/,取的水g-il;qa寸_满足尺。。.+n蔓Rp;L…+-I.≤L^(6)Ifexist(i)thenelseselectgoto(81//若存在i.则转(8);ICherkasovallrst—transaction(it;参考文litL,CiardoGRoleofAging.Frequency,andSizeinWebⅣ在N中选取第一个满足下列条件的i:R.棚+n≤R;L舢,+L≤L.(7)ifnotexist(itthengotol9J√,若i不存在,转结束,else(8)let2CacheR∞iaccmentPoliciesPProceedingsBasedHighPert'ormanceComputingandNetworking,HPCN吣I,Amsterdam,2001-06-25CherkcsovaLPbaalMechanismIEEEJforPeakSessionAdmissionControl:ASitesLoadManagementofCommercialWebgoto(8l://若I存在.转{81n_RP.LrL-·h-.gcto(3):Transactions帆Computers,2002.Sl(61MS,ZhangLAnalysisandCharacterizationScaleli;IJs—sr:N-{i;-+N;Io3lycngarAK.SquillanteofLarge(9)nutput(s.h㈨,,这虬Ii∈NHJ∈ml(10)end;WebServerAccessPatternsandPerformance.WorldWideWeb.1999.2:85-1004Krolzing2002H3算法分析(1)算法复杂度定理2对f给定的n和m,L面算法的最坏情况的复杂度为O(n:m1。MIntroductiontoTime·seriesAnalysis[J]HilaryTerm,5陈志目B,曾志文LPT算法在3层客户,服务计算中的应flitJ].中南工业大学学报,2000,3fr4)—42一万方数据 基于Cache优化的Web集群负载均衡算法作者:作者单位:刊名:英文刊名:年,卷(期):被引用次数:刘安丰, 陈志刚, 邓晓衡, 曾碧卿中南大学信息科学与工程学院,长沙,410083计算机工程COMPUTER ENGINEERING2004,30(10)6次
sova L;Ciardo G
Role of Aging,Frequency,and Size in Web Cache Replacement Policies sova L;Phaal P
Session Based Admission Control:A Mechanism for Peak Load Management ofCommercial Web Sites 2002(06)r A K;Squillante M S;Zhang L
Analysis and Characterization of Large Scale Web Server AccessPatterns and Performance ng H M
Introduction to Time-series Analysis 20025.陈志刚,曾志文
LPT算法在3层客户/服务计算中的应用[期刊论文]-中南工业大学学报(自然科学版) 2000(4)
1.
杜康
对Cache失效问题的研究[期刊论文]-科技创新导报2010(7)2.
黄震春.李三立
填补存储器间距的一种方法——前瞻性Cache[期刊论文]-小型微型计算机系统2002,23(6)3.
李勇.彭宇行.陈福接.LI Fu-Jie
大规模视频点播磁盘cache替换算法[期刊论文]-计算机研究与发展2000,37(2)4.
许普乐.夏明波.金士尧.XU Shi-yao
主动式集群中模糊逻辑及其改进研究[期刊论文]-计算机技术与发展2007,17(7)5.
杨磊.郭庆平
负载均衡技术分析及LVS实现[期刊论文]-武汉理工大学学报(交通科学与工程版)2004,28(1)6.
莫正彦.冯太明.陈贵海
基于网络代价的Web Cache算法[期刊论文]-计算机应用研究2004,21(1)7.
文宏.朱培栋.唐玉华.Wen Yuhua
基于网络拥塞控制的主动队列管理算法研究[期刊论文]-计算机工程与应用2005,41(9)8.
包得海.BAO De-hai
"Cache-主存"和"主存-辅存"存储层次的对比分析[期刊论文]-甘肃高师学报2011,16(2)9.
田兴彦.赵克佳.陈火旺
一个最优的LRU+Hint Cache替换策略[会议论文]-10.
王逸欣.黄斌.汪发亮.曾志峰.刘波.WANG Bo
数据网格中的一个多级Cache模型[期刊论文]-现代计算机(专业版)2006(6)
1.欧文锐
负载均衡技术在电子校务系统中的分析与应用[学位论文]硕士 20092.许海成,傅锦伟
服务器集群负载均衡的建模与仿真研究[期刊论文]-计算机仿真 2012(03)3.吕西红,陈志刚,曾碧卿,曾志文
三层客户/服务计算技术研究及其应用[期刊论文]-计算机工程与应用 2005(34)4.龚理专
并发环境下访问性能优化技术及其应用研究[学位论文]硕士 20085.王早
基于IOCP机制的代理模型与负载均衡算法研究[学位论文]硕士 20056.陈畅
Beowulf集群系统负载均衡问题研究[学位论文]硕士 20077.龚理专
并发环境下访问性能优化技术及其应用研究[学位论文]硕士 2008 引用本文格式:刘安丰.陈志刚.邓晓衡.曾碧卿
基于Cache优化的Web集群负载均衡算法[期刊论文]-计算机工程2004(10)
发布者:admin,转转请注明出处:http://www.yc00.com/xiaochengxu/1689743180a282699.html
评论列表(0条)