1、5、基于本体的网络信息聚合及其应用,信息源:网页爬取:爬虫(含动态网页)解析:基于本体的语义标注全局本体 =概念+关系+实例局部本体 -表格:1+1+N方法 -文本:条件随机场生成聚合信息存储、发布、应用,报价单位产品价格报价日期,应用举例:粮食价格分析,数据来源: - 中华粮网(http:/ - 东北粮食网(http:/ - 中国农业信息网(http:/ - 中国畜牧网(http:/:8001/html/market/index.html) - 中原畜牧网(http:/ - 阿里巴巴农业资讯(http:/ 粮食价格分析稻谷小麦玉米2009.7 2010.7,指数平滑法 自回归法 ARIMA模
2、型法 季节分解法 谱图分析法,稻谷,09.12-10.02:春节临近,消费旺季,涨价10.03-10.04:旱情严重,涨价10.05:稻谷轮换出库,需求淡季,降价10.06:水灾,减产,涨价,红色:观测值蓝色:拟合值,2009.7.15 2010.7.10,小麦,出现离群值(outlier):2月、3月、6月中旬 原因:原始数据错误、聚合处理错误、突发事件驱动6月末-7月初:涨价(春季低温、化肥涨价、惜售)预测:出现误差;短期预测难度大!须深入研究!,红色:观测值蓝色:拟合值绿色:预测值,真值,2010.1.1 2010.7.10,小麦区划,周期性:7 天预测:误差较小,周期性,华东 中南 华
3、北 西北 东北 西南,红色:观测值,蓝色:拟合值,绿色:预测值,小麦区划,3-4月份:西南地区价格明显高!,原因:春季旱情严重。,网络信息聚合的意义,聚合信息服务热门信息推送按需求订制难点:完整、精度、重组行业领域应用可靠建模依据政策制订支持事件关联分析短期预测方法与手段:基于本体的语义理解+时间序列分析,自然基金重点项目:非对称广域覆盖信息共享网络三个参加单位:清华大学(CESL实验室)西南科技大学(绵阳,马建国教授、邢玲副教授、)电子科技大学(成都,隆克平教授、徐杰副教授、)经费:190万元时间:2010-2013年,四年合作研究方向:非对称信息共享网络的数学、物理模型信息共享网络动力学系
4、统的大规模时空动态仿真基于语义的网页分析、内容聚合、数据挖掘合作形式:博士后校际合作,征询合作研究,任勇: 18911803773,谢 谢,WWW业务特征,文件传输为主Poisson到达:负指数分布文件长度服从重拖尾分布:Bounded Pareto网站文件服务时间也服从重尾的BP分布重尾业务:持续时间具有重拖尾分布特性的业务重拖尾业务实质:被长流调制的慢变的布朗运动 用户满意度指标:阻塞概率、平均响应时间播存结构理论分析:有限忍耐度的排队系统分析,文件长度服从BP分布(Bounded Pareto)k = 1.22 kbyte, p = 1 Mbyte, = 1.1文件长度均值6.56 kb
5、yte,方差7.17108 大于100kbyte的文件占0.72%大文件产生的数据量占27.1%文件长度服从负指数分布,则大于100kbyte的文件占2.4/千万,数据量占3.7/百万。 M/ G/ 1、 M/ G/ 、 M/ M / c可解析。M/ G/ c无法直接分析,没有分析工具!,重尾业务特点及其处理方法,大方差(LV):15分钟,却占50%突发性分解:-分解,Agg+ 3Aggstd 临界速率, Elephant and Mice ! Dragon flies and Tortoises!,网络业务的时间尺度特性,小时间尺度(1 ms)traffic变化原因:Buffers, sch
6、eduling algorithms中时间尺度(100 ms)traffic变化原因:TCP流控协议大时间尺度(1-10 s)traffic变化原因:路由变化中长期traffic变化原因:带宽增长、用户数增长,自然基金,互联网络业务源模型与业务量预测, 已完成自然基金,复杂互联网络的整体动力学理论、方法及其应用, 已完成自然基金,共享信息网络新结构及关键技术研究, 已完成自然基金,宽带网络生存性策略研究, 已完成自然基金,共享信息的第二类网络, 已完成863-项目,多层网络数据语义分类与理解技术研究, 已完成863-项目,具有语义标引的互补结构网络, 已完成863-项目,第五媒体物理链路传输协
7、议研究, 已完成973-子项,一体化网络与普适服务体系下的移动和传感网, 在研自然基金:应用层网络行为与互联网整体性能的关联及对策 在研973-子项,IP网生存性的通用机理和调控方法, 在研国家杰出青年基金,新一代光互联网体系结构及关键技术, 在研自然基金,基于虚拟坐标的IP网络定位理论与技术研究, 在研自然基金,四川省青年基金,网络无功流量测量, 在研新一代广播网的语义计算与内容管理机制研究, 在研博士点基金,音视频数据的内容管理技术研究, 在研,与本课题直接相关的其它研究项目,发表文章,Lei Wang, Yong Ren, etc. Measurement and Statistics
8、of Application Business in Complex Internet. Complex09, 2325 February 2009, Shanghai, ChinaYi-Peng Li, Yi-Hua Huang, Lei Wang, Yong Ren. The Nonlinear Mechanism of Phase Transition in Computer Networks. Complex09, 2325 February 2009, Shanghai, ChinaYing Li, Hongduo Cao, Xiuming Shan, Yong Ren. An es
9、timation formula for the average path length of scale-free networks , Chinese Physics B, Vol.17, No.7, pp.2327-2306, 2008.7Yang Liu, Jian Yuan, Xiuming Shan, Yong Ren and Zhengxin Ma. Self-determined mechanisms in complex networks, Physica A: Statistical Mechanics and its Applications Volume 387, Is
10、sues 8-9, Pages 2145-2154, 15 March 2008山秀明,刘旸,张林,王磊,任勇,袁坚,王耀希P2P应用系统用户共享行为的复杂网络模型.计算机应用研究,2008年,25(6):1853-1855任勇,王磊基于包层次的小子集观测第三届全国复杂动态网络学术论坛,2006.12,北京任勇,李幼平双结构互联网定量分析与验证平台设计第二届全国复杂动态网络学术论坛,2005.10,北京Xing Ling, Ma Jianguo, Li Youping. Dual-Mode Transmission Network for DTV J. IEEE TRANSACTIONS ON
11、 CONSUMER ELECTRONICS, 2008,54(2):474-480Haoxiang Zhang, Lin Zhang, Xiuming Shan, and Victor. O. K. Li, Performance Evaluation of Adaptive Probabilistic Search in P2P Networks, IEICE Transaction on Communications, Vol. E91-B, No. 4. pp.1172-1175, 2008马建国,李在铭广播型网格计算机科学,2004.8孙海峰,马建国,李幼平基于UCL的DTV Comm
12、erce安全认证模型J电子技术应用,2008,34(1):129-131,邢玲,马建国,李幼平,刘志文移动通信中的信息共享结构J北京理工大学学报J,2008,28(8):737-740马建国,席明贤,林益民,李幼平中国Internet路由级跳数测量与分析J计算机应用研究,2008,25(7):2112-2114马卫东,李幼平,马建国,周明天面向Web网页的区域用户行为实证研究J计算机学报,2008,31(6):960-967王磊,周淑华,袁坚,任勇,山秀明虚拟网络行为对互联网整体特性的影响物理学报,2007,56(1):36-42马建国,李幼平等广播型网格的用户兴趣图谱电子学报,2005,33
13、(1): 142 146马建国,李幼平等 数据广播中的UCL标引与传输机制.电子学报,2004,32(10): 1621 1624邢玲,马建国,李幼平,刘志文一种基于UCL的中文网页信息过滤方法电子学报,2006, Vol.34(10): 1752-1757马建国,邢玲信息过滤技术及VJ实现.系统工程与电子技术2004,Vol. 26(3):382-385Ma Jianguo, Xing Ling, Li Youping. An Information Sharing Structure of Broadcasting. LECTURE NOTES IN COMPUTER SCIENCE, 3
14、320:558-563, 2004Ma Jianguo, Liu Guihua, Xing Ling. An Agent Of Data Broadcasting Based On UCL,2003 IEEE International Conference on Natural Language Processing and Knowledge Engineering, NLP-KE03 Beijing, China. Oct, 2003,IEEE press.pp.215-220Ma Jianguo, Xing Ling, Li Zaiming. MIS-Grid for Future M
15、obile Communications. Electronics Technology of China.2004, Vol.2(4):12-15+36Ling Xing, Youping Li, Zhiwen Liu. A Mechanism of Active Services for Network Based on UCL. The 4th International Conference on Active Media Technology (AMT 06). pp.289-292, 2006J. Yuan, et al, A Cross-Correlation Based Met
16、hod for Spatial-Temporal Traffic Analysis, Performance Evaluation, Vol 61/2-3, pp 163-180, 2005,Keping Long, R. S. Tucker, S. Cheng, J. Ma, R. Zhang. A New Approach to Multi-Layer Network Survivability: Strategies, Model and Algorithm. Journal of High Speed Networks, 10(2):127-134, Sept. 2001Keping
17、Long, Wang Qian, Cheng Shiduan, Chen JunLiang. Quantitative Adaptive RED in Differentiated Service Networks. Journal of Computer Science and Technology, 18(2):223-229, Mar. 2003Keping Long, Xiaolong Yang, Sheng Huang, Xin Yang, Yujun Kuang. The SLA-Compatible Fault Management Model for Differentiate
18、d Fault Recovery, Proc. HPCC 2006 (High Performance Computing and Communications), Springer-Verlag LNCS vol.4208, p.737-742, Sept. 2006Jia Li, Keping Long, Xiaolong Yang, Ping Cheng, Zheng Gu, DiffServ-aware OBGP: A New Inter-domain End-to-End Lightpath Setup Scheme, Proc. of SPIE APOC2006, pp:63541
19、P1 - 63541P8, Sept. 2006Xiaolong Yang, Min Zhang, Keping Long. An Efficient Multiple-constraints QoS Routing Algorithm Based on Nonlinear Path Distance. Proceedings of Springer-Verlag LNCS 3314, pp.365-370, Dec. 2004J. Xu, D. Fournier-Prunaret, A-K. Taha, P. Charg, Chaotic dynamics in an N-dimension
20、al system based upon a sine square maps, IEEE International Workshop on Nonlinear Maps and Applications (NOMA07), Toulouse, FranceJie Xu, “Study the dynamic chaotic generated by functions sinusoidal for applications to the security of the transmissions”, Congress of the PhD students (EDSYS 2006), Ta
21、rbes, FranceJie Xu, “Study of the chaotic signals in telecommunication”, Presentation of a poster in “Doctorales INP 2006”, Toulouse, FrancePascal Charg, Jie Xu, Danile Fournier-Prunaret, Abdel-Kaddous Taha, “A simple open chaos generator based upon a sine map”, 15th IEEE International Workshop on N
22、onlinear Dynamics of Electronic Systems (NDES 2007), Tokushima, Japan,D. Fournier-Prunaret, J. Xu., A.Taha, P.Charg, Attractors and bifurcations in sine maps, 22th International Conference Differential Equations and Related Topics (Petrovskii07), Moscow, RussiaD. FOURNIER-PRUNARET, A.-K. TAHA, J. XU
23、, P.CHARG, “Attractors and bifurcations in 2-D and 3-D sin maps”, European Conference on Iteration Theory (ECIT06), Gargnano, Italy张林,任勇,山秀明负载均衡的人工生命路由算法通迅学报,2004,Vol.25,No.4A,pp.290297陆俊秀,山秀明,任勇,马正新TCP流量的多尺度分析数据采集与处理,2004,Vol.19,No.1,pp.59刘锋,山秀明,任勇,张军,马正新计算机网络的长程相关特性物理学报,2004,Vol.53, No.2, pp. 373-
24、378J.X. Lu, X. M. Shan, Y. Ren, Overlay networking: applications and research challenges,通迅学报, 2004, Vol.25, No.12, pp.4652L.Zhang, Y.Ren, X.M.Shan, Pheromone-Based Ant Routing System for IP Networks, Tsinghua Science and Technology, 2004, Vol.9, No.2, pp.213-218李旲,山秀明,任勇具有幂率度分布的因特网平均最短路径长度估计 物理学报,2
25、004,Vol.53, No. 11, pp.36953700山秀明,李旲,焦健,任勇,仇贲,曹轶群网络病毒行为模式分析中国工程科学,2003,Vol.5, No.12, pp.55 59王磊,周淑华,宋永华,任勇,山秀明一种藉合连接机制的Internet仿真模型微计算机信息,2007,23(34):190-191X. Wang, Y. Ren, X.M. Shan, WDRLS:A Wavelet-Based On-Line Predictor for Network Traffic, IEEE GlobalCom 2003, Vol.7,15Dec, pp.4034 4038C. Liu,
26、 X.M. Shan, Self-suppressed NACK-based Multicast Congestion Control, Proc. of ICT 2003, February 2003任丰原,林闯,任勇,山秀明大时滞网络中的拥塞控制算法软件学报,2003,Vol.14, No. 3, pp.503-511,W. Wu, Y. Ren, X.M. Shan, Providing proportional loss rate and loss rate bounds for adaptive traffic: A new relative diffserv model, IEIC
27、E Transactions on Communications, 002 (1), pp.129-136F.Y. Ren, X.H. Yin, Y. Ren, X.M. Shan, A Robust Active Queue Management Algorithm Based on Sliding Mode Variable Structure Control, IEEE INFOCOM2002, Vol.1, 23-27 June, pp.13 20任丰源,任勇,山秀明,王福豹二进制ABR流量控制算法的建模与分析计算机学报,2002,6,pp.651-656尹逊和,任丰源,任勇,山秀明鲁
28、棒的主动队列管理新算法计算机学报,2002,10, pp.1018-1023刘锋,任勇,山秀明,互联网络数据包传输的一种简单元胞自动机模型,物理学报,2002,Vol.51,No.6,pp.1175-1180X. Wang, X.M. Shan, A Wavelet-Based Method to Predict Internet Traffic, Int. Conf. On Communication Circuits and Systems, ICCCAS2002, pp.690-694F.Y. Ren, Y. Ren, X.M. Shan, Design of fuzzy control
29、ler for active queue management, Computer Communications 2002, 25, pp.874-883J. Yuan, K. Mills, Exploring Collective Dynamics in Communication Networks, Journal of Research of the National Institute of Standards and Technology, 107 (2), 179-191, 2002袁坚,任勇,刘锋,山秀明复杂计算机网络中的相变和整体关联行为物理学报,2001,Vol.50,No.
30、7,pp.1221-1225W. Wu, Y. Ren, X.M. Shan, A self-configuring PI controller for active queue management, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.368-371. (IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)W. Wu, Y. Ren, X.M. Shan, Modeling dynamical behaviors of AQM-TCP joint system using Markov chains,
31、APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.372-375.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001),W. Wu, Y. Ren, X.M. Shan, Stability analysis and parameter selection of RED, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.376-379.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)F.Y. Ren, Y. Ren, X.M. Shan,
32、 Fluid-based analysis of ABR flow control in ATM networks, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.630-635.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)L. Zhang, Y. Ren, X.M. Shan, 1/f noise in multi-agent cooperative routing, ICNF 2001, Florida, USA, Oct. 22-25, p541-545F.Y. Ren, Y. Ren, X.M. S
33、han, Enhancement to RED algorithm, The 9th IEEE Int. Conf. On Networks. (ICON2001), Bangkok, Thailand, Oct. 10-12, 2001, pp.14 -19张林,任勇,山秀明人工生命路由算法及其在Internet网中的应用电信网技术,2001,Vol.11. No.4任丰源,任勇,山秀明主动网络的研究与进展,软件学报,2001,Vol.12,No.11,pp.1614-1622J. Yuan, Y. Ren, X.M. Shan, Self-Organized Criticality in
34、a Computer Network Model, Physical Review E61, 2000, pp.1067-1071J. Yuan, Y. Ren, X.M. Shan, Self-Organized Criticality in One Dimensional Packet Flow Model, Chinese Physics, 2000,Vol.9, No.9, pp.641-648袁坚,任勇,山秀明一种计算机网络的元胞自动机模型及分析物理学报,2000,Vol.49,No.3,pp.398-402W. Wu, J. Yuan, X.M. Shan, Y. Ren, Exp
35、loring Collective Behaviors with Short-Range Correlation Between Routers, IEEE ICCT2000, Beijing, Aug. 2000, pp.70-75单琳伟,袁坚,任勇,山秀明接入网联合接纳控制北京邮电大学学报,2007,30(5):9-12吴霖,任勇,山秀明QoS路由及其在IP中的实现现代电信科技,2000.7,pp.16-21,发明专利,任勇等,国家发明专利:可移植的网络信息共享方法,2008101149145任勇等,Nokia发明报告(提交美国专利):A Web Page Segmentation Alg
36、orithm based on Link Layout(基于链接布局特征的网页分块算法),Nokia: NC66751Yong Ren, etc. US Patent:Improvements in or relating to user removable memory and associated methods,US-PA-SN:12/154,143,AD No:915-018.017任勇等,国家发明专利:基于移动网状网的智能交通信息系统,200610144015.0马建国等,国家发明专利:教育信息资源的语义标引方法,200410034544.6马建国等,国家发明专利:网络信息资源的语义
37、标引方法,200410034543.1马建国等,国家发明专利:数据广播系统中的UCL嵌入方法,200410034539.5马建国等,国家发明专利:教育信息资源降低误码率的控制方法,200410034542.7马建国等,国家发明专利:互补结构网络的可信服务机制,200610021691.9马建国等,国家发明专利:互补结构网络,200610021692.3隆克平,王飞,黄胜等,国家发明专利:一种新型多层多粒度光交叉连接结构,200610054478.8阳小龙,李培江,隆克平等,国家发明专利:一种新型的波长/波带共享转换结构,200610054476.9常交法,王汝言,隆克平等,国家发明专利:一种光
38、突发交换网络故障监测方法,200610054211.9黄胜,阳小龙,隆克平等,国家发明专利:一种包含光分插复用器的多粒度光交换结构,200610054477.3,移动网关,Weather,Traffic,Scenery,Civil structure monitoring,Internet,Mobile Gateway,Gateway,Gateway,Gateway,Gateway,The uSD-Card Based Mobile Gateway to Sensor Networks,Back Cover of Mobile Phones or PDAs,TemperatureSensor,AlcoholSensor,MagneticSensor,AccelerationSensor,Hold Information - Control World,compass,position,acceleration,temperature,