Delta-encoding与相似检测应用说明【外文翻译】.doc

1、本科毕业论文（设计）外文翻译外文原文APPLICATIONSPECIFICDELTAENCODINGVIARESEMBLANCEDETECTIONFREDDOUGLISIBMTJWATSONRESEARCHCENTERHAWTHORNE，NY10532DOUGLISACMORGARUNIYENGARIBMTJWATSONRESEARCHCENTERHAWTHORNE，NY10532ARUNIUSIBMCOMABSTRACTMANYOBJECTS，SUCHASFILES，ELECTRONICMESSAGES，ANDWEBPAGES，CONTAINOVERLAPPINGCONTENTNUMEROU

2、SPASTRESEARCHPROJECTSHAVEOBSERVEDTHATONECANCOMPRESSONEOBJECTRELATIVETOANOTHERONEBYCOMPUTINGTHEDIFFERENCESBETWEENTHETWO，BUTTHESEDELTAENCODINGSYSTEMSHAVEALMOSTINVARIABLYREQUIREDKNOWLEDGEOFASPECIFICRELATIONSHIPBETWEENTHEMMOSTCOMMONLY，TWOVERSIONSUSETHESAMENAMEATDIFFERENTPOINTSINTIMEWECONSIDERCASESINWHIC

3、HTHISRELATIONSHIPISDETERMINEDDYNAMICALLY，WHENASUFFICIENTRESEMBLANCEEXISTSBETWEENTWOOBJECTSINARELATIVELYLARGECOLLECTIONWELOOKATSPECIFICEXAMPLESOFTHISTECHNIQUE，NAMELYWEBPAGES，EMAIL，ANDFILESINAFILESYSTEM，ANDEVALUATETHEPOTENTIALDATAREDUCTIONANDTHEFACTORSTHATINFLUENCETHISREDUCTIONWEFINDTHATDELTAENCODINGU

4、SINGTHISRESEMBLANCEDETECTIONTECHNIQUECANIMPROVESIMPLECOMPRESSIONBYUPTOAFACTOROFTWO，DEPENDINGONWORKLOAD，ANDASMALLFRACTIONOFOBJECTSCANPOTENTIALLYACCOUNTFORALARGEPORTIONOFTHESESAVINGSKEYWORDSDELTAENCODINGRESEMBLANCEDETECTION1INTRODUCTIONDELTAENCODINGISTHEACTOFCOMPRESSINGADATAOBJECT，SUCHASAFILEORWEBPAGE

5、，RELATIVETOANOTHEROBJECTUSUALLYTHEREISATEMPORALRELATIONSHIPBETWEENTHETWOOBJECTSTHELATTEROBJECTEXISTS，ANDWHENITISSUBSEQUENTLYMODIFIED，THECHANGESCANBEREPRESENTEDINASMALLFRACTIONOFTHESIZEOFTHEENTIREOBJECTTHEREISOFTENALSOANAMINGRELATIONSHIPBETWEENTHEOBJECTS，SINCEAMODIFIEDFILECANHAVETHESAMENAMEASTHEORIGI

6、NALCOPYINTHESECASES，IDENTIFYINGTHEBASEVERSIONAGAINSTTHEONEWHICHTOCOMPUTEADELTAISSTRAIGHTFORWARDDELTAENCODINGISPARTICULARLYATTRACTIVEFORTHESITUATIONSWHEREINFORMATIONISSPREADINGTHROUGHANETWORKWITHLIMITEDBANDWIDTHFOREXAMPLE，WEBSITESOFTENREPLICATETHINGSFORHIGHERPERFORMANCEANDAVAILABILITYTHEBANDWIDTHBETW

7、EENTHEREPLICASISLIMITEDANOTHEREXAMPLEWOULDBEREPLICATINGMAILSYSTEMSTHESYSTEMOFTENALLOWSCLIENTSTOREPLICATECOPIESOFMAILMESSAGESLOCALLYCLIENTSCANCONNECTTHETELEPHONENETWORKLINESWITHLIMITEDBANDWIDTHFORANEMAILTHECLIENTCONNECTTOAMAILSERVERVIAASLOWLINKTHISTECHNIQUEWHICHMINIMIZESTHETIMEOFUPDATESISHIGHLYADVISA

8、BLEHOWEVER，INEACHOFTHESEENVIRONMENTS，NOTEACHONETRIESTOIDENTIFYANAPPROPRIATEBASEVERSIONTOTAKEADVANTAGEOFDELTAENCODINGTHEREFORE,WEPUTFORWARDADOMAININWHICHTHEREAREMANYOBJECTSWITHARBITRARYOVERLAPPINGAMONGDIFFERENTPAIRSOFOBJECTSANDTHERELATIONSHIPSBETWEENTHESEPAIRSARENOTKNOWNIFONEPERSONCANCHOOSEWHICHPAIRS

9、ARESUITABLEFORCANDIDATESTOREDUCETHESIZEOFONECOMPARATIVETOANOTHER,THECOSTOFSTORAGEANDTRANSMISSIONWILLBEREDUCEDINEXCHANGEFORCOMPUTATIONWECONSIDERSEVERALAPPLICATIONDOMAINSFORTHISTECHNIQUE，WHICHWEREGARDASDELTAENCODINGVIARESEMBLANCEDETECTION，ORDERDWEBTRAFFIC，EMAIL，ANDFILESINAFILESYSTEMWEDEFERADDITIONALDI

10、SCUSSIONOFOURRESEARCHUNTILAFTERAMOREDETAILEDDISCUSSIONOFDELTAENCODINGANDRESEMBLANCEDETECTION，WHICHAPPEARSINTHEFOLLOWINGSUBSECTIONAFTERTHAT，THENEXTSECTIONDESCRIBESTHEFRAMEWORKOFOURANALYSISINGREATERDETAILS，INCLUDINGTHEMETRICSWECONSIDERSECTION3PRESENTSTHEVARIOUSDATASETSWEUSEDSECTION4DESCRIBESTHEEXPERIM

11、ENTS，ANDSECTION5PROVIDESTHERESULTSOFTHESEEXPERIMENTSSECTION6DISCUSSESTHERESOURCEUSAGEISSUESTHATWOULDARISEINAPRACTICALIMPLEMENTATIONOFDERDSECTION7SURVEYSTHERELATEDWORK，ANDSECTION8SUMMARIZESANDDESCRIBESPOSSIBLEFUTUREWORK11BACKGROUNDITISDIFFICULTTODESCRIBEOURAPPROACHWITHOUTPROVIDINGAGENERALOVERVIEWOFBO

12、THDELTAENCODINGANDRESEMBLANCEDETECTIONWECOVERENOUGHEACHOFTHESEAREASHERETOSETTHESTAGEFORCOMBININGTHETWO，ANDTHENRETURNTOAMORECOMPREHENSIVECOMPARISONWITHRELATEDWORKTOWARDTHEENDOFTHEPAPERDELTASAREUSEFULFORREDUCINGRESOURCEREQUIREMENTS，ANDEXISTINGAPPLICATIONSOFDELTAS,WHICHGENERALLYFALLINTOTWOCATEGORIESSTO

13、RAGEANDNETWORKINGFORSTORAGE，WHENONEALREADYSTORESABASEVERSIONOFAFILE，SUBSEQUENTVERSIONSCANBEREPRESENTEDBYCHANGESTHISLOWERSSTORAGEDEMANDSWITHINFILESYSTEMSTHEREVISIONCONTROLSYSTEMRCS25ISALONGSTANDINGEXAMPLEOFTHIS，BACKUPRESTORESYSTEMS1，ANDSIMILARENVIRONMENTOVERANETWORK，TRANSMITTINGDATAALREADYKNOWNTOTHER

14、ECIPIENTCANBEAVOIDEDTHEMOSTCOMMONAPPROACHINTHISCASEISTOWORKFROMACOMMONBASEVERSIONKNOWNTOTHESENDERANDRECIPIENT，COMPUTETHEDELTA，ANDTRANSMITITTHISTECHNIQUEHASBEENAPPLIEDTOWEBTRAFFIC16，IPLEVELNETWORKCOMMUNICATION24，ANDOTHERDOMAINSANEXTENSIONTOTHETRADITIONALWEBDELTAENCODINGAPPROACHISTOSELECTTHEBASEVERSIO

15、NBYFINDINGSIMILAR，RATHERTHANIDENTICAL，URLS7WHATIFONEWISHESTOFINDASIMILARFILEBASEDONTHECONTENTRATHERTHANANAME，AMONGALARGECOLLECTIONOFFILESMANBERDEVISEDAMETHODFOREXTRACTINGFEATURESOFFILESBASEDONTHEIRCONTENTS，INORDERTOFINDFILESWITHOVERLAPPINGCONTENTEFFICIENTLY14HECOMPUTEDHASHESOFOVERLAPPINGSEQUENCESOFB

16、YTESALSOKNOWNASSHINGLES，THENFOUNDOUTHOWMANYOFTHESEHASHESWERESHAREDBYDIFFERENTFILESMANBERINDICATEDTHATCLUSTERINGSIMILARFILESFORIMPROVEDCOMPRESSIONWOULDBEANAPPLICATIONOFTHISTECHNIQUEBRODERUSEDASIMILARAPPROACHBUTUSEDADETERMINISTICSAMPLINGOFTHEHASHVALUESTODRAMATICALLYREDUCETHEAMOUNTOFDATANEEDEDFOREACHFI

17、LE5，6WITHHISAPPROACH，ASUBSETOFFEATURESOFAFILEISUSEDTOREPRESENTTHEFILEIFTWOFILESSHAREMANYCOMMONFEATURESWITHEACHOTHER，THEREISAHIGHPROBABILITYOFSIGNIFICANTCONTENTINCOMMONASWELLACOMMONUSEFORTHISTECHNIQUEISTOSUPPRESSNEARDUPLICATESINSEARCHENGINERESULTS6，ANDVARIATIONSOFTHETECHNIQUEHAVEBEENUSEDINLINKLEVELDU

18、PLICATESUPPRESSION24ANDFILESYSTEMS8，17，20BECAUSETHESHINGLINGTECHNIQUEHASBEENSEENMUCHUSEFULNESSINTHESYSTEMSCOMMUNITYOFLATE，WEREFRAINFROMPROVIDINGADETAILEDDESCRIPTIONOFITBRIEFLY，ITUSESRABINFINGERPRINTS21TOCOMPUTEAHASHOFCONSECUTIVEBYTESTHEKEYPROPERTIESOFRABINFINGERPRINTSARETHATTHEYAREEFFICIENTTOCOMPUTE

19、OVERASLIDINGWINDOW，ANDTHEYAREUNIFORMLYDISTRIBUTEDOVERALLPOSSIBLEVALUESTHUS，BRODERSAPPROACHOFSELECTINGTHENFINGERPRINTSWITHTHESMALLESTVALUESEFFECTIVELYSELECTSNRANDOMFEATURESINADETERMINISTICFASHION，ANDTWODOCUMENTSWITHMANYFEATURESINCOMMONWOULDHOPEFULLYHAVEMANYOFTHESENFEATURESINCOMMON12GOALSASMANBERSUGGE

20、STED，ONECANUSETHEFEATURESOFDOCUMENTSTOIDENTIFYWHENFILESOVERLAPANDTHENDELTAENCODEPAIRSOFOVERLAPPINGFILESTOSAVESPACEORBANDWIDTHONEGOALOFTHISWORKISTOASSESSWHETHERTHISTECHNIQUEISGENERALLYAPPLICABLE，ANDIFNOT，TOIDENTIFYSOMESPECIFICINSTANCESWHEREITISAPPLICABLEASECONDGOALISTOEVALUATEANUMBEROFTHEPARAMETERSUS

21、EDINTHISPROCESS，SUCHASTHESIZEOFASHINGLE，THEAMOUNTOFOVERLAPAMONGFEATURESNECESSARYTOGETASUFFICIENTLYSMALLDELTA，THENUMBEROFFILESWITHSIMILAROVERLAPNECESSARYTOGETCLOSETOTHE“BEST”DELTA，SELECTIONOFDELTAENCODINGALGORITHMSANDPARAMETERSTOTHOSEALGORITHMS，WHETHERDELTAENCODINGTHECONTENTSOFSPECIALLYFORMATTEDFILES

22、SUCHASZIPFILESINANAPPLICATIONSPECIFICMETHODISBENEFICIAL，ANDOTHERMETRICS13SUMMARYOFRESULTSWEHAVEFOUNDTHATTHEBENEFITSOFAPPLICATIONSPECIFICDELTASVARYDEPENDINGONTHEMIXOFCONTENTTYPESFOREXAMPLE，HTMLANDEMAILMESSAGESDISPLAYAGREATDEALOFREDUNDANCYACROSSLARGEDATASETS，RESULTINGINDELTASTHATARESIGNIFICANTLYSMALLE

23、RTHANSIMPLYCOMPRESSINGTHEDATA，WHILEMAILATTACHMENTSAREOFTENDOMINATEDBYNONTEXTUALDATATHATDONOTLENDTHEMSELVESTOTHETECHNIQUEAFEWLARGEFILESCANPROMOTEMUCHOFTHETOTALSAVINGSIFTHEYAREPARTICULARLYAMENABLETODELTAENCODINGAPPLICATIONSPECIFICTECHNIQUES，SUCHASDELTAENCODINGANUNZIPPEDVERSIONOFAZIPORGZIPFILEANDTHENZI

24、PPINGTHERESULT，CANSIGNIFICANTLYIMPROVERESULTSFORAPARTICULARFILE,UNLESSANENTIREDATASETCONSISTSOFSUCHFILES，OVERALLRESULTSIMPROVEBYJUSTSEVERALPOINTSOFPERCENTINTHISCONTEXTTHEREARESOMEADVANTAGESOFASSESSINGTHEDELTAS，ANDWEHAVEEVALUATEDSEVERALNUMEROUSPARAMETERSTHERESULTSDONOTCONTAINSUSCEPTIBLESHINGLESORTHED

25、ELTAENCODINGALGORITHMOFLARGEANDSMALLSIZESTHEEXTENTOFTHEMATCHOFTHENUMBEROFFEATURESISAGOODPREDICTOROFTHEDELTASIZEPERHAPSMOSTIMPORTANTLY，WHENMULTIPLEFILESMATCHTHESAMENUMBEROFFEATURES，THEREISTHEMINIMALDIFFERENCEBETWEENTHEBESTDELTATHESMALLESTDELTAOBTAINEDACROSSALLTHEFILESANDTHEAVERAGEDELTATHELATTERTWORES

26、ULTSSUGGESTTHATALTHOUGHITISBENEFICIALTODETERMINETHEFILESWITHTHEMAXIMALNUMBEROFMATCHINGFEATURES，ONLYONEDELTANEEDBECOMPUTEDTHISISCRUCIALBECAUSEFINDINGMATCHINGFEATURES，GIVENAPRECOMPUTEDDATABASEOFTHEFEATURESOFOTHERFILESANDTHEDYNAMICALLYCOMPUTEDFEATURESETOFTHEFILEBEINGDELTAENCODED，ISMOREEFFICIENTTHANCOMP

27、UTINGANACTUALDELTA2FRAMEWORKTHISSECTIONDESCRIBESOURAPPROACHTOTHEPROBLEMOFDELTAENCODINGWITHRESEMBLANCEDETECTIONINGREATERDETAILSWEDISCUSSTHETYPESOFDATAWECONSIDERANDTHEWAYINWHICHWEEVALUATETHEPOTENTIALBENEFITSOFDERD21TYPESOFDATAINTHEPAST，DELTAENCODINGHASBEENDIVIDEDINTOMANYTYPESOFDATAINNUMEROUSENVIRONMEN

28、TSOURINTERESTHASFOCUSEDONDATATHATARELOCATED“TOGETHER”,MEANINGTHATTHEYBELONGTOASINGLEUSER，ORTHEYRESIDEONASINGLESERVEREARLIERWORKHASDEMONSTRATEDTHEPOTENTIALBENEFITSOFDELTASWHENTHESAMEOBJECTISMODIFIEDOVERTIME，WHEREASWECONSIDERDIFFERENTOBJECTSEXISTINGATTHESAMETIMETHUSFAR，WEHAVEANALYZEDWEBDATAPRIMARILYHT

29、ML，EMAIL，ANDAFILESYSTEMINARESEARCHREPORT10COAUTHOREDWITHKIEMPHONGVOOFATINTHISCASE，BYTRANSMITTINGMANYPAGESATONCE，OVERHEADSCOULDBEMINIMIZEDWEHAVEESTIMATEDTHEBESTCASEBENEFITSFORAWEBBASEDDERDSYSTEM，BYDOWNLOADINGNUMEROUSPAGESFROMSEVERALSITESATASINGLEPOINTINTIME，ANDTHENCOMPARINGEACHPAGEAGAINSTTHEOTHERSINP

30、RACTICE，NOTALLTHEOTHERPAGESWOULDBECACHEDBYANINDIVIDUALCLIENT，THOUGHTHEYMIGHTBECACHEDBYACDNIFTHEYARENOTCOMPLETELYDYNAMIC译文DELTAENCODING与相似检测应用说明FREDDOUGLISIBM,J沃特森研究中心霍桑,纽约10532DOUGLISACMORGARUNIYENGARIBM,J沃特森研究中心霍桑,纽约10532ARUNIUSIBMCOM摘要许多对象,例如文件、电子信息、网页,包含重叠的内容。许多过去的研究计划已经观察到一个可以压缩一个物体相对于另一个通过计算不同的

31、差异，但这DELTAENCODING系统的知识几乎无一例外地要求一个特定的关系最常用的两种版本使用相同的名字在不同时间点时间。我们认为案件中，这种关系动态确定充分有效地认定两个物体之间存在着相似的一个相当大的收藏。我们看看该技术的具体的例子，即网页，电子邮件，和文件在一个文件系统、评估潜在的天文数据归算的影响这一行为的因素，并减少。我们发现DELTAENCODING检测技术的使用这个相似之处可以改善简单压缩到为两倍，根据工作量，那一小部分潜在的对象可以占了很大一部分内存。关键词DELTAENCODING；相似检测1引言DELTAENCODING压缩技术，如一个数据对象文件或网页。通常有一个时间

32、上的两者之间的关系,后者对象对象的存在,当事后修改,可以以变化的一小部分对象的大小。有也经常命名对象之间的关系,因为文档具有相同的名称作为正本。在这些情况下,鉴定基地版本的比赛是对阵哪个计算出一个DELTA直截了当。DELTA编码信息，尤其对于那些正在通过网络带宽有限的情况下更新的吸引力。例如，网站通常都更高的性能和可用性进行复制。副本之间的带宽是有限的。另一个例子是复制邮件系统。电子邮件系统通常允许客户复制的本地邮件副本。客户可以通过有限的带宽连接电话线网络。对于一个电子邮件客户端通过慢速链接连接到邮件服务器，该技术所需的带宽减少更新是非常可取的。然而，在这些环境中，每个并非总是可以找出一个

33、合适的基础版本，以增量编码的优势。我们的工作因此提出了一种领域,也有很多任意对象重叠现象双不同的目标,将这些组合之间的关系尚不清楚的经验。如果一个人能识别哪些对DELTAENCODING候选者,可以降低到另一个相对的大小,从而降低存储和传输费用,以换取计算。我们认为几个应用领域,我们对于这种技术是通过DELTAENCODING检测,或DERD相似之处网站的流量,电子邮件和文件在文件系统中。我们在进行另外的讨论之前,我们的研究的是一份更加详细的讨论DELTAENCODING和相似,而那将出现在检测下列分段。在此之后，下一节更详细地描述了我们的分析框架，包括度量我们考虑的问题。第3节我们使用。第4

34、节描述了实验，第5条规定，这些实验结果的各种数据集。第6条讨论资源的使用问题，会出现在一个DERD。七，切实执行有关的调查工作和第8总结，并介绍未来可能的工作。11背景很难描述我们的方法而不提供的一般概念DELTAENCODING和相似之处都检测。我们盖住够了每一个这样的地方为舞台布景,结合这两种,再来一个更全面的比较与相关的工作快结束的时候这张纸上。DELTAS是降低资源需求和现有DELTA的应用，一般分为两类有用存放和网络，当一个人已经存储了一个文件的基本版本，后续版本可以表示为改变这种降低存储需求内。文件系统（该版本控制系统（RCS）25就是一个长期的例子），备份恢复系统1，类似的环境。

35、通过网络，传递的是已知的收件人数据是可以避免的。在这种情况下最常见的方法是从一个共同的基础工作，已知的发送者和接收者的版本，计算三角洲，并传送。这种技术有被应用到WEB流量16，IP层网络通信24等领域。是对传统的WEB三角洲编码方法的延伸，是选择通过寻找类似的基本版本，而不是相同的，网址7。如果一个人希望找到一个类似的文件的基础上，而不是名称的内容，其中收集了大量文件曼伯发明了一种用于提取文件内容的基础上其功能，以便找到有效的重叠内容14文件。他计算了重叠的字节序列（也称为瓦）哈希方法，然后看如何这些哈希许多不同的文件共享。曼伯表示，类似的聚类改进的压缩文件，将是这项技术的应用。布罗德使用了

36、类似的方法，但使用了哈希值确定采样大大减少所需的数据量每个文件与他的方法5,6。，一个一个文件的功能子集被用来表示该文件，如果两个文件分享许多共同的特点，有一个重要的内容，以及常见的高概率。一种常见的使用这种技术是抑制近在搜索引擎结果重复6，该技术的变化已在链路层使用重复抑制24和文件系统8,17,20。由于叠瓦技术已经见过这么晚系统在社区多大用处，我们不提供详细说明它的简单，它使用指纹拉宾21来计算的连续字节的散列拉宾指纹的主要性能他们是有效率的计算在一个滑动窗口，它们都统一了所有可能值的分布。因此，BRODER的选择与最小值的N指纹的方法有效地选择在确定性时尚N“随机”功能，以及两与普通的

37、整体功能，两份文件有许多相同的地方整体会希望有许多这类的N相同的地方。12目标作为MANBER建议,你可以采用文件的特点,发现什么时候文件重叠,然后DELTAENCODE对重叠的文件,以节省空间或带宽。的一个目标来评估这项工作是这一技术是普遍适用的,如果不是,寻找具体事例表明,它是适用的。第二个进球,来评估有一定数目的参数在这一过程中,如人的大小重叠现象的数量特征必要把一个足够小的DELTA文件,文件数量类似的重叠必要接近“最好”的DELTA文件,选择算法和参数对这些算法,的内容是否特别格式的文件,例如ZIP文件在一个特定应用的方法是有好处的,其他绩效指标。13结果汇总我们发现,应用程序特有的

38、增量的好处取决于混合的内容类型。例如,HTML和电子邮件信息将大量的冗余,导致在大型数据集的增量更小的压缩比简单的数据,而邮件附件NONTEXTUAL通常占主导地位的数据,不让他们该技术。一些大型的文件可以促进了储蓄总额的,如果他们特别服从。DELTAENCODING特定应用的技术,例如DELTAENCODING一个解压版的一个ZIP或GZIP文件,然后利用的结果,可以得到更好的结果为某种特定的文件,但除非整个数据集是由这些文件,提升整体分析及结果只花了几个百分点。许多参数评估可以变换的好处,在此背景下,增量我们评价了好几个。结果似乎没有敏感的大小的带状疱疹或DELTAENCODING算法,在

39、此之列。程度的角点数量的比赛中是一个很好的预测DELTA大小。或许最重要的是,当多个文件匹配相同数量的特点,很少有差异最小的DELTA最好的三角在所有的文件了平均DELTA。后两种结果指出,虽然它对确定文件S与最大数量的匹配特征,只有一个DELTA需要计算。这是非常重要的因为寻求匹配的特点,给出了一PRECOMPUTED数据库中备案的特点及其他文件,并动态计算文件的特征是有效得多,DELTAENCODED比计算一个实际的DELTA。2框架21数据类型在过去,DELTAENCODING已经被使用了许多类型的数据,在众多环境。我们的兴趣集中于数据,位于“在一起,”内涵,他们属于较单用户,或者他们住

40、在一个服务器。早期的研究表明的潜在好处一些物体的增量改性随着时间的推移,而我们认为不同的物体同时存在。到现在为止,我们分析了网络数据主要是HTML、电子邮件和文件系统。在一份研究报告COAUTHORED10所聚集的相当与KIEMPHONG签证官ATT实验室,我们以前认为可以使用有效的技术BRODER选择对象的特点,以确定合适的候选人中,以服务为基础对HTTPDELTAENCODING。这将是对所提出的标准，在最近的RFC15中描述的延伸。该报告描述了一个可能的协议，但没有数据支持在实践中的思想工具。在个人WEB客户端的情况下，物体必须大到足以发射各自的特点，比较在客户端的功能，可能计算在回应客户的要求新的增量，对飞编码，和重建上的客户端页面添加费用。超越这一提议，相似性不同网页可用于高效率的分配在一个新网页内容分发网络（CDN），或其他副本来缓存，在这种情况下，由许多网页上的发射一次，费用可减少我们估计最好的情况效益。一个基于WEB的DERD系统下载，一时间点从多个网站众多的页面，然后比较每个人的页面。