半通用版数据采集系统.DOC

1、半通用版数据采集系统先说说为什么是半通用版采集系统，之前确实也是准备做通用采集系统的，但是项目赶得紧，时间不是很够，就半路上刹住了，做成了一半一半的样子。相信大家看完这篇博客后能对数据采集有更深的理解的。刚拿到项目，很快就弄了一个出来。但是质量不高，很快就被退回来了。一看就知道差了，界面首先就不行，一看代码更糟糕。代码（早期测试代码）：#region 将获取的数据按照一定得条件转化为数据集private static DataSet GetDataSet(string type)DataTable dt=CreateTbBlockTrade();switch(type)case “ShangH

2、ai“:int trstartshanghai=XMLHelper.GetInt(“trstartshanghai“);int trendshanghai=XMLHelper.GetInt(“trendshanghai“);int tdstartshanghai=XMLHelper.GetInt(“tdstartshanghai“);int tdendshanghai=XMLHelper.GetInt(“tdendshanghai“);XmlNodeList xmlnodelist=XMLHelper.GetXmlNodeList(System.Windows.Forms.Applicatio

3、n.StartupPath+“messagexml.xml“,“TR“);int countshanghai =xmlnodelist.Count-tdstartshanghai;for(int i=trstartshanghai; i192.168.10.104InformationCentersasa81http:/ 7:06:01天上交所Website633906785473437500.xml2701http:/ 7:00:00天深交所Website633906787124687500.xml4801http:/ 7:00:00天上交所分页测试数据Website633911151612

4、968750.xml2701在这个系统配置文件里面我保存了一下的几个信息：数据库信息，系统日志信息，要采集的网站信息，以及各网站的采集状态，采集时间。再看另一个配置文件633911151612968750.xmlshangjiaosuo_2 8100027a下一页N 0这个配置文件保存了写针对于系统配置中的采集源网站的采集数据集信息，以及分页方式好了咱们看看使用一下这个软件。打开后可以看到直接登录就行了，这个上面的实现过程就不讲了，相信大家都会。下面可以选择要采集的数据源。时常看看有没有什么变化。当然自动采集的过程已经开始了，偷偷进行的，呵呵。接下来我们看看，添加采集网址的过程吧可以选择单数据

5、集还是多数据集选择的时候会有预览哦。当然了记录日志是我们查错做好的方法和手段。日志我做了两份，重要的日志记录到数据库一般的就保存在本地了。这是服务器日志，取个严重错误不好哦。这个就是所有的日志了。采集网址的编辑和删除功能就没做了，时间紧啊 。看看采集代码吧，估计大家也想看了。#region 退出private void menuItem11_Click(object sender, System.EventArgs e)Application.Exit();private void WorkPlace_Closing(object sender, System.ComponentModel.C

6、ancelEventArgs e)Application.ExitThread();Application.Exit();#endregion#region 绑定网址private void BindComboBox()XMLHelper xmlhelper =new XMLHelper(“config.xml“);tryURLs=xmlhelper.GetStrings(“WebSiteMessage“,“WebSiteURL“);WEBNames=xmlhelper.GetStrings(“WebSiteMessage“,“WebSiteName“);catchint count =URL

7、s.Length;if(count0)for(int i=0; icount; i+)ListItem listItem=new ListItem(URLsi,WEBNamesi);comboBox1.Items.Add(listItem);comboBox1.ValueMember=“WebSiteURL“;comboBox1.DisplayMember=“WebSiteName“;comboBox1.SelectedIndex=0;#endregion#region 菜单操作private void menuItem6_Click(object sender, System.EventAr

8、gs e)SystemConfig systemConfig=new SystemConfig();systemConfig.ShowDialog();private void menuItem8_Click(object sender, System.EventArgs e)AddDataGather add=new AddDataGather();add.ShowDialog();#endregion#region 查看已经存在的页面private void button1_Click(object sender, System.EventArgs e)Common common=new

9、Common();string url=common.EncryptString(ListItem)comboBox1.SelectedItem).ID);object flags=null,tar=null,post=null,head=null; this.axWebBrowser1.Navigate(url,ref flags,ref tar,ref post,ref head);#endregion#region 循环自动采集页面数据bool getdata=true;private void timer1_Tick(object sender, System.EventArgs e)

10、if(getdata)getdata=false;Thread thread=new Thread(new ThreadStart(URLGetDather);thread.IsBackground=true;thread.Start(); #region 采集数据private void URLGetDather() Common common=new Common();WorkPlaceBLL workplacebll=new WorkPlaceBLL();int xmlnodecount=workplacebll.XmlNodeCount();XMLHelper xmlhelper=ne

11、w XMLHelper(“config.xml“);for(int countnum =0; countnumxmlnodecount;countnum+)string needsGatDather=xmlhelper.GetXmlData(“NeedsGatDather“,countnum);if(needsGatDather.Trim()=“1“)/需采集string gatDatherComplete=xmlhelper.GetXmlData(“GatDatherComplete“,countnum);if(gatDatherComplete.Trim()=“0“)/未采集trystri

12、ng url=common.DecryptionString(xmlhelper.GetXmlData(“WebSiteURL“,countnum);webSitePath=xmlhelper.GetXmlData(“WebSitePath“,countnum);tablecount=xmlhelper.GetInt(“TableNum“,countnum);/int timeinterval=xmlhelper.GetInt(“WebSitePeriod“,countnum);/采集时间间隔/string gatherInterval=xmlhelper.GetXmlData(“Gather

13、Interval“,countnum);/采集时间间隔单位Nowtime=DateTime.Now;Oldtime=xmlhelper.GetDateTime(“GatherTime“,countnum);nowtimeString=common.GetNowString(Oldtime,Nowtime);/获取上次采集时间if(common.CheckGetDatherTime(Oldtime,Nowtime)/判断是否到了采集时间/XMLHelper xmlhelper=new XMLHelper(“config.xml“);countnumchange=countnum;/创建一个隐藏的浏览器object flags=null,tar=null,post=null,head=null; this.axWebBrowser2.Navigate(url,ref flags,ref tar,ref post,ref head);return;elsecontinue;catch(Exception ex)IOHelper.WriteLog(“文件正在被使用，请稍后再试“);/MessageBox.Show(“文件正在被使用，请稍后再试“);else