2023年7月30日发(作者：)

第４３卷第１期２０２１年１月沈　阳　工　业　大　学　学　报ＪｏｕｒｎａｌｏｆＳｈｅｎｙａｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙＶｏｌ４３Ｎｏ１Ｊａｎ２０２１ｄｏｉ：１０．７６８８／ｊ．ｉｓｓｎ．１０００－１６４６．２０２１．０１．１２基于Ｋ距离拓扑的分布式数据存储方法，２郎登何１（１重庆大学大数据与软件学院，重庆４０１３３１；２重庆电子工程职业学院人工智能与大数据学院，重庆４０１３３１）摘　要：针对分布式数据存储算法通常需要较长的等待时间、且对海量数据加密时严重浪费计算资源和时间的问题，提出了一种基于Ｋ距离拓扑的分布式数据存储方法．通过寻找Ｋ距离拓扑子图来实现数据的安全放置，优先选择存取速度更快的节点和自身保护能力强的节点实现总体性能的提升．在Ｉｎｔｅｒｎｅｔ２拓扑图与随机拓扑图下的仿真测试结果表明，所提出的方法能在满足安全距离约束的条件下选择到最优的数据存储节点，从而减小数据存取时间．关　键　词：分布式；数据存储；数据安全；高效；Ｉｎｔｅｒｎｅｔ２拓扑；随机拓扑；Ｋ距离；节点中图分类号：ＴＰ３０９　　　文献标志码：Ａ　　　文章编号：１０００－１６４６（２０２１）０１－００６７－０５ＤｉｓｔｒｉｂｕｔｅｄｄａｔａｓｔｏｒａｇｅｍｅｔｈｏｄｂａｓｅｄｏｎＫｄｉｓｔａｎｃｅｔｏｐｏｌｏｇｙ１，２ＬＡＮＧＤｅｎｇｈｅ（１．ＳｃｈｏｏｌｏｆＢｉｇＤａｔａａｎｄＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ４０１３３１，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＢｉｇＤａｔａ，ＣｈｏｎｇｑｉｎｇＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，Ｃｈｏｎｇｑｉｎｇ４０１３３１，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｔｈｅｄｉｓｔｒｉｂｕｔｅｄｄａｔａｓｔｏｒａｇｅａｌｇｏｒｉｔｈｍｓｕｓｕａｌｌｙｒｅｑｕｉｒｉｎｇｌｏｎｇｗａｉｔｉｎｇｔｉｍｅａｎｄｓｅｖｅｒｅｗａｓｔｅｓｏｆｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓａｎｄｔｉｍｅｗｈｅｎｅｎｃｒｙｐｔｉｎｇｍａｓｓｉｖｅｄａｔａ，ａｄｉｓｔｒｉｂｕｔｅｄｄａｔａｓｔｏｒａｇｅｍｅｔｈｏｄｄｉｓｔａｎｃｅｔｏｐｏｌｏｇｙｗａｓｐｒｏｐｏｓｅｄ．ＳａｆｅｐｌａｃｅｍｅｎｔｏｆｄａｔａｗａｓｒｅａｌｉｚｅｄｂｙｓｅａｒｃｈｉｎｇｔｈｅｂａｓｅｄｏｎＫＫｄｉｓｔａｎｃｅｔｏｐｏｌｏｇｙｓｕｂｇｒａｐｈ，ａｎｄｔｈｅｎｏｄｅｓｗｉｔｈｆａｓｔｅｒａｃｃｅｓｓｓｐｅｅｄａｎｄｓｔｒｏｎｇｓｅｌｆｐｒｏｔｅｃｔｉｏｎａｂｉｌｉｔｙｗｅｒｅｐｒｅｆｅｒｅｎｔｉａｌｌｙｓｅｌｅｃｔｅｄｔｏｒｅａｌｉｚｅｏｖｅｒａｌｌｐｅｒｆｏｒｍａｎｃｅｉｍｐｒｏｖｅｍｅｎｔ．ＴｈｅｓｉｍｕｌａｔｉｏｎｔｅｓｔｒｅｓｕｌｔｓｕｎｄｅｒＩｎｔｅｒｎｅｔ２ａｎｄｒａｎｄｏｍｔｏｐｏｌｏｇｙｇｒａｐｈｓｓｈｏｗｔｈａｔｔｈｅａｓｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｓｅｌｅｃｔｔｈｅｏｐｔｉｍａｌｄａｔａｓｔｏｒａｇｅｎｏｄｅｓｕｎｄｅｒｔｈｅｃｏｎｄｉｔｉｏｎｏｆｓａｆｅｄｉｓｔａｎｃｅｃｏｎｓｔｒａｉｎｔ，ｔｈｕｓｉｔｃａｎｒｅｄｕｃｅｔｈｅｄａｔａａｃｃｅｓｓｔｉｍｅ．Ｋｅｙｗｏｒｄｓ：ｄｉｓｔｒｉｂｕｔｅｄｔｙｐｅ；ｄａｔａｓｔｏｒａｇｅ；ｄａｔａｓｅｃｕｒｉｔｙ；ｈｉｇｈｅｆｆｉｃｉｅｎｃｙ；Ｉｎｔｅｒｎｅｔ２ｔｏｐｏｌｏｇｙ；ｒａｎｄｏｍｔｏｐｏｌｏｇｙ；Ｋｄｉｓｔａｎｃｅ；ｎｏｄｅ　　随着移动互联网技术和信息技术的快速发展，越来越多的终端设备和传感器被接入互联网，产生了海量数据，令传统的数据存储方式逐渐被１－２］．云存储和分布式存储所取代［率．而云存储技术可在云计算的基础上，通过应用软件和分布式文件系统、集群技术和网络技术，将４－５］不同设备和不同类型的数据相结合协同工作［，但不同位置的存储节点有着不同的存储能力和链６－８］．路带宽，使得难以提高数据存取速度［分布式数据存储采用广泛分布在不同地理区域并相互连接的成本低廉、数量众多的ＰＣ服务３］，这种存储方式能大幅节省器来存储海量数据［云存储概念提出的同时，云计算的安全性也９］．如ＧｏｏｇｌｅＣｌｏｕｄＰｌａｔｆｏｒｍ和受到广泛关注［存储成本，但节点的可用性较低．同时，数据存储规模的不断扩大也大幅增加了系统发生故障的概收稿日期：２０１９－０６－１３．基金项目：重庆市教育科学规划项目（２０１９－ＧＸ－５００）．ＡｍａｚｏｎＳ３为用户提供了不同安全等级的加密服务，然而云存储通常需要加密庞大的数据，这将消作者简介：郎登何（１９７４－），男，四川巴中人，副教授，硕士，主要从事云计算、大数据及ＷＥＢ开发技术等方面的研究．０２０－１２－２２１６∶１５在中国知网优先数字出版．网络出版地址：ｈｔｔｐ：ｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／２１．１１８９．Ｔ．本文已于２∥ｋ２０２０１２２１．１１１８．０３６．ｈｔｍｌ６８沈　阳　工　业　大　学　学　报　　第４３卷耗大量的计算资源，且这种数据加密方式需要用户自己保管秘钥，也会导致服务质量的降低和存取时间的增加．目前，国内外学者和专家提出了诸多方法来解决这些问题，如采用图分割的方式从数学理论的角度考虑分布式数据存储的拓扑结构，但该种方法并未综合考虑链路和节点的性能［１０］；也有文献提出使用智能优化算法来选择存储节点，以降低带宽消耗并节省数据存取时间，但这种方法存在局部最优的问题且具有较高的复杂度，不适合作为数据放置策略［１１］．本文综合考虑分布式数据存储的安全性和高效性，提出了一种基于Ｋ距离拓扑的低复杂度数据放置算法．该算法通过寻找Ｋ距离拓扑子图来实现数据的安全放置，在此基础上，采用最小化存取时间的方式合理地放置数据．１　系统模型本文使用网络拓扑图模型Ｇ（Ｖ，Ｅ）来表示分布式存储系统，其中，Ｖ和Ｅ分别为存储节点集合和链路集合．第ｉ个节点的存储能力由ＳＣｉ表示，链路的带宽矩阵由Ｂ表示，且对于任意的ｂｉｊ∈Ｂ，则有ｂｉｊ＝{ｂｊｉ　（节点ｉ与ｊ间存在链路）０（节点ｉ与ｊ间不存在链路）　（１）∞（ｉ＝ｊ）模型中用户可以任意选择数据存储的节点来提交数据．本文将存储数据Ｄ进行分块，并用ＳＤｉ表示节点ｉ处存储的数据块，则有Ｖ∑ＳＤｉ＝Ｄ　（ＳＤｉ≤ＳＣｉ，ｉ＝１，２，…，Ｖ）（２）ｉ＝１本文从以下两方面保证数据的安全性：１）根据数据存放的距离来表示数据安全级别的高低，距离更大的数据块间具有更高的安全性；２）不同领域的数据具有不同的安全性．为了实现上述安全性要求，本文提出了一种安全距离的定义：使用Ｋ表示安全距离，Ｋ＝０表示数据没有安全性需求；Ｋ＝１表示任意两个数据块间的距离必须大于１；Ｋ＝２表示任意两个数据块间的距离必须大于２．定义ｆｓ表示计算数据间的安全距离，即ｆｓ＝ｍｉｎｆｋ（ＳＤｉ，ＳＤｊ）　（ｉ≠ｊ，ｉ，ｊ＝１，２，…，Ｖ）（３）ｆｋ（ＳＤｉ，ＳＤｊ）＝{ｄｉｓ（ｉ，ｊ）（ＳＤｉ≠０，ＳＤｊ≠０且ｉ≠ｊ）（４）∞　（其他）式中，ｄｉｓ（ｉ，ｊ）为两点之间欧式距离．在确定数据存取的安全性条件后，对数据存取的时间进行建模，假设当前数据存储策略ＳＤ的安全距离为Ｋ，数据从节点Ａ接入，则对任意存储节点ＳＤｉ≠０，ｉ＝１，２，…，Ｖ，各节点的数据存取时间为ＴＳＤｉ＝（５）ｌ∑ＳＤｉ∈Ｐｉ，Ａｔ　ｌｓ，ｌｄ式中：Ｐｉ，Ａ为节点ｉ和节点Ａ间的最短路径；ｔｌｓ，ｌｄ为链路ｌ数据存取时间；ｌｓ，ｌｄ为两链路的起点和终点．存取所有数据块Ｄ所需的时间为ＶＴ∑∑ＳＤｉＳＤ＝　（６）ｉ＝１ｌ∈Ｐｉ，Ａｔｌｓ，ｌｄ基于上述对数据安全和数据存取速率的分析，本文将分布式数据存取问题表示为：在接入点Ａ处将给定大小的数据Ｄ进行合理分配，则在满足距离大于Ｋ且所需存取时间最小条件时，可将该问题表示为ＶｍｉｎＴＳＤｉＳＤ＝∑ｉ＝１ｌ∈∑Ｐｉ，Ａｔｌｓ，ｌｄＶｓ．ｔ．∑ＳＤｉ＝Ｄ；ＳＤｉ≤ＳＣｉ，ｉ＝１，２，…，Ｖ；ＳＤｉ≤ｉ＝１ＳＤｍａｘ，ｉ＝１，２，…，Ｖ；ｆｓ＝ｍｉｎｆｋ（ＳＤｉ，ＳＤｊ），ｉ≠ｊ，ｉ，ｊ＝１，２，…，Ｖ（７）２　数据存储算法２１　数据存取模型定义本文使用Ｋ距离拓扑子图来表示数据存储节点，以保证数据块的放置能满足安全距离的要求．Ｋ距离拓扑子图的定义为：假设Ｇ（Ｖ，Ｅ）为无向连通图，如果其节点集合Ｖ′Ｖ满足　ｄｉｓ（ｖ１，ｖ２）≥Ｋ　（ｖ１，ｖ２∈Ｖ′，ｖ１≠ｖ２）（８）则称该子图为Ｋ距离拓扑子图．基于上述定义可以得到Ｋ距离拓扑子图的生成算法如下：１）假设需要得到的图模型为Ｇ（Ｖ，Ｅ），安全距离为Ｋ；２）随机选择一个节点ｖ；３）将节点ｖ与所有到节点ｖ的距离小于Ｋ的节点相连；４）执行循环比较，循环停止后得到的结果即为生成的Ｋ距离拓扑子图．根据该算法描述可知，对于给定的图模型Ｇ（Ｖ，Ｅ），存在多个Ｋ距离拓扑子图．图１为一个包含１０个顶点的拓扑图，图２、３为选择不同的初始和中间节点得到的两种不同拓扑子图．其中，第１期　　　郎登何：基于Ｋ距离拓扑的分布式数据存储方法６９图２为包含节点２，４，７，９的２距离拓扑子图，即Ｋ＝２；图３为包含节点１，３，５，６，８，１０的２距离拓扑子图．从图２和图３可以看出初始节点和中间节点的选择对于构造拓扑子图异常重要．图１　１０顶点网络拓扑图Ｆｉｇ１　Ｎｅｔｗｏｒｋｔｏｐｏｌｏｇｙｗｉｔｈ１０ｖｅｒｔｅｘｅｓ图２　２距离拓扑子图１Ｆｉｇ２　Ｓｕｂｇｒａｐｈ１ｏｆ２ｄｉｓｔａｎｃｅｔｏｐｏｌｏｇｙ图３　２距离拓扑子图２Ｆｉｇ３　Ｓｕｂｇｒａｐｈ２ｏｆ２ｄｉｓｔａｎｃｅｔｏｐｏｌｏｇｙ２２　节点选择算法基于上文定义的Ｋ距离拓扑子图，本文将存储节点选择过程转化为在给定安全距离Ｋ的条件下，寻找使数据存取时间最小的Ｋ距离拓扑子集问题．本文提出一种基于节点优先级选择的算法来求解该问题，即根据各节点的数据存取速度优先选择存取速度更快的节点和自身保护能力强的节点．单位数据存取速度定义为ＵＤｖ＝ｉ∑　（９）∈Ｐｖ，Ａｔｌｓ，ｌｄ式中：Ｐｖ，Ａ为节点ｖ和Ａ间的最短距离；Ｄ为数据总量．数据存储节点选择算法具体流程如下：１）对每一个节点，根据式（９）计算Ｕｖ．２）对所有Ｕｖ按照从大到小的顺序排序，得到排序后的集合ＰＶ．３）计算节点Ａ与集合ＰＶ中每一个节点间的最短距离ｄ．４）当ｄ≥Ｋ时，将该点放入最优数据存储集合；当ｄ＜Ｋ时，执行步骤３），直至遍历完所有节点．本文存储节点选择算法主要分为两部分：１）按照单位存取时间排列数据存储节点；２）使用最短距离算法选择最优的数据存储序列．其中，第１部分的时间复杂度为Ｏ（Ｖ）；第２部分的时间复杂度为Ｏ（ＶＯ（Ｅ＋ＶｌｇＶ））或Ｏ（ＶＯ（ｋＥ）），其中，Ｅ为图Ｇ的边数量，ｋ为ＳＰＦＡ算法中节点进入Ｑｕｅｕｅ的次数．因此，本文存储节点选择算法的时间复杂度包括两种情况：最优情况下为Ｏ（ｋＶＥ），最坏情况下为Ｏ（ＶＥ＋Ｖ２ｌｇＶ）．３　仿真分析本文使用Ｍａｔｌａｂ和Ｏｍｎｅｔ＋＋仿真平台验证所提出的基于Ｋ距离拓扑的高效、安全的分布式数据存储算法的有效性，并使用Ｉｎｔｅｒｎｅｔ２拓扑图与随机拓扑图衡量该算法在不同应用场景下的性能．两种网络的具体仿真环境参数如表１所示．表１　仿真参数设置Ｔａｂ１　Ｓｅｔｔｉｎｇｓｏｆｓｉｍｕｌａｔｉｏｎｐａｒａｍｅｔｅｒｓ参数数值实验区域２０００×１０００存储节点数量３０～５０存储节点容量／ＧＢ５００～１０００网络带宽／（Ｍｂｉｔ·ｓ－１）２００～３００存储数据量／ＧＢ２０００～７０００最大迭代次数８００数据块大小／Ｍｂｉｔ１００～５００　　图４为本文使用的Ｉｎｔｅｒｎｅｔ２拓扑图．该拓扑图由带宽为１Ｇｂｉｔ·ｓ－１的节点组成，每个节点表示一个美国的城市．本文通过与ＦＮＦ算法、ＧＡ算法和ｋＤＤＳ算法进行比较来验证所提出算法的有效性．其中，ＦＮＦ算法直接根据节点间的距离来选择存储节点以提高数据的安全性；ＧＡ算法则使用遗传算法来选择最优的存储节点来减少数据的存取时间，这种方法计算量较大；ｋＤＤＳ算法采用图分割理论来减少带宽和数据存取时延．本文首先比较了不同数据量和网络节点情况下，各种算法在随机拓扑网络中的数据存取时间结果如图５、６所示．从图５中可以看出，相比于其他算法，本文算法所需的数据存取时间最小，且随着数据的增加，本文算法所需的存取时间增加量最小、最缓慢．这是因为所提出的算法能通过选择链路状况最优的节点来减小数据的存取时间．从７０沈　阳　工　业　大　学　学　报　　第４３卷图４　Ｉｎｔｅｒｎｅｔ２拓扑图Ｆｉｇ４　Ｉｎｔｅｒｎｅｔ２ｔｏｐｏｌｏｇｙｇｒａｐｈ图６可以看出，即使网络节点数量不断提高，所提相对于其出算法的数据存取时间仍稳定且较小．他算法，本文算法能减少６０％～７０％的存取时在随机拓扑网络中的测试结果表明，所提出的间．算法在满足安全距离的情况下，能通过选择性能最优的节点来存储数据，以减小数据的存取时间．图７、８为在不同数据量与网络节点情况下，ｎｔｅｒｎｅｔ２拓扑图中的数据存取时间．各种算法在Ｉ图７　Ｉｎｔｅｒｎｅｔ２拓扑图下不同数据量的数据存取时间Ｆｉｇ７　ＤａｔａａｃｃｅｓｓｔｉｍｅｏｆｄｉｆｆｅｒｅｎｔｄａｔａｖｏｌｕｍｅｓｕｎｄｅｒＩｎｔｅｒｎｅｔ２ｔｏｐｏｌｏｇｙ图５　随机拓扑下不同数据量的数据存取时间Ｆｉｇ５　Ｄａｔａａｃｃｅｓｓｔｉｍｅｏｆｄｉｆｆｅｒｅｎｔｄａｔａｖｏｌｕｍｅｓｕｎｄｅｒｒａｎｄｏｍｔｏｐｏｌｏｇｙ图８　Ｉｎｔｅｒｎｅｔ２拓扑图下不同网络规模的数据存取时间Ｆｉｇ８　ＤａｔａａｃｃｅｓｓｔｉｍｅｏｆｄｉｆｆｅｒｅｎｔｎｅｔｗｏｒｋｓｉｚｅｓｕｎｄｅｒＩｎｔｅｒｎｅｔ２ｔｏｐｏｌｏｇｙ图６　随机拓扑下不同网络规模的数据存取时间Ｆｉｇ６　Ｄａｔａａｃｃｅｓｓｔｉｍｅｏｆｄｉｆｆｅｒｅｎｔｎｅｔｗｏｒｋｓｉｚｅｓｕｎｄｅｒｒａｎｄｏｍｔｏｐｏｌｏｇｙ从图７、８中可以看出，随着Ｉｎｔｅｒｎｅｔ２拓扑图中数据量的不断增加，所有算法的数据存取时间而本文算法的增长速度最慢，且相较于均在增长．第１期　　　郎登何：基于Ｋ距离拓扑的分布式数据存储方法７１其他算法需要更少的存取时间，且随着Ｉｎｔｅｒｎｅｔ２拓扑图数据规模的不断增加，本文算法所需的数据存取时间也是最低的．从仿真结果可以看出，在Ｉｎｔｅｒｎｅｔ２拓扑图和随机拓扑图情况下，本文算法均具有最低的数据存取时间．这是因为相较于其他算法，本文算法能在满足安全距离约束的条件下选择到最优的数据存储节点并使用最少的数据存取时间．４　结　论本文提出了一种基于Ｋ距离拓扑的分布式数据存储方法．该算法使用Ｋ距离拓扑子图来表示数据存储节点，来保证数据块的放置能满足安全距离的要求．同时提出了一种基于节点优先级选择的算法，将存储节点选择过程转化为在给定安全距离Ｋ条件下的拓扑选择过程．使用Ｍａｔｌａｂ和Ｏｍｎｅｔ＋＋仿真平台在Ｉｎｔｅｒｎｅｔ２拓扑图与随机拓扑图下的仿真测试结果表明，所提出的算法能在满足安全距离约束的条件下选择到最优的数据存储节点，从而减小数据存取时间．参考文献（Ｒｅｆｅｒｅｎｃｅｓ）：［１］ＲａｔｈｓＤ．Ｔｈｅｎｅｘｔｎｅｔｗｏｒｋ．Ｉｎｔｅｒｎｅｔ２ａｎｄＨＩＭＳＳｈａｖｅｊｏｉｎｅｄｕｐｔｏｆａｃｉｌｉｔａｔｅｔｈｅｅｘｃｈａｎｇｅｏｆｈｅａｌｔｈｃａｒｅｉｎｆｏｒｍａｔｉｏｎ［Ｊ］．ＨｅａｌｔｈｃａｒｅＩｎｆｏｒｍａｔｉｃｓ，２００６，２３（１１）：１４－１７．［２］ＰｅｉＪ，ＨｏｎｇＰ，ＸｕｅＫ，ｅｔａｌ．Ｅｆｆｉｃｉｅｎｔｌｙｅｍｂｅｄｄｉｎｇｓｅｒｖｉｃｅｆｕｎｃｔｉｏｎｃｈａｉｎｓｗｉｔｈｄｙｎａｍｉｃｖｉｒｔｕａｌｎｅｔｗｏｒｋｆｕｎｃｔｉｏｎｐｌａｃｅｍｅｎｔｉｎｇｅｏｄｉｓｔｒｉｂｕｔｅｄｃｌｏｕｄｓｙｓｔｅｍ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｒａｌｌｅｌａｎｄＤｉｓｔｒｉｂｕｔｅｄＳｙｓｔｅｍｓ，２０１８，９：１－１４．［３］刘秀，李烨．云计算环境下资源评级的虚拟机部署算法［Ｊ］．电子科技，２０１６，２９（７）：５１－５４．（ＬＩＵＸｉｕ，ＬＩＹｅ．Ｖｉｒｔｕａｌｍａｃｈｉｎｅｄｅｐｌｏｙｍｅｎｔａｌｇｏｒｉｔｈｍｓｆｏｒｒｅｓｏｕｒｃｅｒａｔｉｎｇｉｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇｅｎｖｉｒｏｎｍｅｎｔ［Ｊ］．ＥｌｅｃｔｒｏｎｉｃＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１６，２９（７）：５１－５４．）［４］ＬｉＺ，ＺｈａｎｇＪ，ＹｕｅＬ，ｅｔａｌ．Ａｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｂａｓｅｄｄａｔａｒｅｐｌｉｃａｐｌａｃｅｍｅｎｔｓｔｒａｔｅｇｙｆｏｒｓｃｉｅｎｔｉｆｉｃａｐｐｌｉｃａｔｉｏｎｓｉｎｃｌｏｕｄｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｅｒｖｉｃｅｓＣｏｍｐｕｔｉｎｇ，２０１５，６：１５３－１６６．［５］ＪｉＤＸ，ＪｉＧＷ．Ａｓｙｎｃｈｒｏｎｏｕｓｒｏｕｎｄｂａｓｅｄｓｔｒａｔｅｇｙｆｏｒｒｅｐｌｉｃａｐｌａｃｅｍｅｎｔ［Ｊ］．ＪｏｕｒｎａｌｏｆＦｒｏｎｔｉｅｒｓｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０１８，３９（２）：３３９－３４８．［６］ＧｕｅｒｒｅｒｏＣ，ＬｅｒａＩ，ＪｕｉｚＣ．ＭｉｇｒａｔｉｏｎａｗａｒｅｇｅｎｅｔｉｃｏｐｔｉｍｉｚａｔｉｏｎｆｏｒＭａｐＲｅｄｕｃｅｓｃｈｅｄｕｌｉｎｇａｎｄｒｅｐｌｉｃａｐｌａｃｅｍｅｎｔｉｎＨａｄｏｏｐ［Ｊ］．ＪｏｕｒｎａｌｏｆＧｒｉｄＣｏｍｐｕｔｉｎｇ，２０１８，５：５７－６８．［７］陈洁，褚龙现，夏栋梁．一种支持并行处理的矢量数据存储与查询方法［Ｊ］．电子设计工程，２０１７，２５（１０）：３１－３３．（ＣＨＥＮＪｉｅ，ＣＨＵＬｏｎｇｘｉａｎ，ＸＩＡＤｏｎｇｌｉａｎｇ．Ａｖｅｃｔｏｒｄａｔａｓｔｏｒａｇｅａｎｄｑｕｅｒｙｍｅｔｈｏｄｓｕｐｐｏｒｔｉｎｇｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇ［Ｊ］．ＥｌｅｃｔｒｏｎｉｃＤｅｓｉｇｎＥｎｇｉｎｅｅｒｉｎｇ，２０１７，２５（１０）：３１－３３．）［８］ＨａｏＰ，ＨｕＬ，ＪｉａｎｇＪ，ｅｔａｌ．Ｆｒａｍｅｗｏｒｋｆｏｒｒｅｐｌｉｃａｐｌａｃｅｍｅｎｔｏｖｅｒｃｏｏｐｅｒａｔｉｖｅｅｄｇｅｎｅｔｗｏｒｋｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＡｍｂｉｅｎｔＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＨｕｍａｎｉｚｅｄＣｏｍｐｕｔｉｎｇ，２０１８，４：９９－１１８．［９］ＸｕＫ，ＬｉＸ，ＢｏｓｅＳＫ，ｅｔａｌ．Ｊｏｉｎｔｒｅｐｌｉｃａｓｅｒｖｅｒｐｌａｃｅｍｅｎｔ，ｃｏｎｔｅｎｔｃａｃｈｉｎｇ，ａｎｄｒｅｑｕｅｓｔｌｏａｄａｓｓｉｇｎｍｅｎｔｉｎｃｏｎｔｅｎｔｄｅｌｉｖｅｒｙｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０１８，８：４５－６２．［１０］ＸｉｏｎｇＬ，ＹａｎｇＬ，ＴａｏＹ，ｅｔａｌ．Ｒｅｐｌｉｃａｔｉｏｎｓｔｒａｔｅｇｙｆｏｒｓｐａｔｉｏｔｅｍｐｏｒａｌｄａｔａｂａｓｅｄｏｎｄｉｓｔｒｉｂｕｔｅｄｃａｃｈｉｎｇｓｙｓｔｅｍ［Ｊ］．Ｓｅｎｓｏｒｓ，２０１８，１８（２）：２２２－２３９．［１１］ＡｒｕｌＭＡ，ＣｈｉｔｒａＫ．ＯＧＳＯＤＲ：ｏｐｐｏｓｉｔｉｏｎａｌｇｒｏｕｐｓｅａｒｃｈｏｐｔｉｍｉｚｅｒｂａｓｅｄｅｆｆｉｃｉｅｎｔｄｉｓａｓｔｅｒｒｅｃｏｖｅｒｙｉｎａｃｌｏｕｄｅｎｖｉｒｏｎｍｅｎｔ［Ｊ］．ＪｏｕｒｎａｌｏｆＡｍｂｉｅｎｔＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＨｕｍａｎｉｚｅｄＣｏｍｐｕｔｉｎｇ，２０１８，５９（７）：９８－１０８．（责任编辑：景　勇　英文审校：尹淑英）