产品-dede采集.doc

1、什么是采集呢？我们可以这样理解，我们打开一个网站，看到有一篇文章很不错，于是将文章的标题和内容复制，然后将这篇文章转到我们的网站上，这个过程就可以称作采集，将别人网站上对自己有用的信息转到自己网站上。 采集器也是这样，不过整个过程是由电脑来完成的，我们复制人家的标题和内容，是在知道什么地方是内容，什么地方是标题前提下进行操作的，但电脑是不知道 的，所以我们要告诉电脑怎么识别怎么采，这就是写规则的过程；我们复制完了，打开我们网站，比如论坛发帖的地方，然后粘帖发表，采集时数据的导入对电脑来 说，就是模仿我们发表帖子的过程。当然，要采集，首先服务器必须满足支持组件：Microsoft.XMLHTTP

2、。 现在我们来说一下采集需要一些什么基础。基本的你只要能看懂一些常见的 HTML 标签代码就可以了。然后就是可以分清网页里内容的层次，比如那一块是内容， 那一块是广告，那一块是列表。要做数据库基本替换和删除就要懂一点数据库知识了。最后就是能找到一个风格统一、有规律可循的站点。 采集一般可以分为 3 个过程：1.设置采集规则；2.采集数据内容；3.导出内容，这 3 个内容是可以独立分开来的。设置采集规则：这个就是在操作中的添加采集节点，并对这个节点规则进行设置，比如：设置采集内容列表的地址、指定采集标题或者内容的位置（规则）、设置采集内容过滤规则。这个规则是采集最根本最基础的东西，采集规则可以导

3、入导出，方便对这个采集规则进行分享。采集数据内容：根据不同情况对数据采集进行设置，例如：指定每页采集条数及间隔时间、附加采集设置等，这个可以控制采集的速度及采集方式。导出内容：将数据导入到 CMS 数据库的过程，即实现把内容发布到网站据为己有的过程。织梦的采集器使用是很灵活的，可以根据实际来决定。比如可以先采集不等有时间了再发布，或是同时采集发布，总之，织梦采集系统就是为本身量身定做的，其灵活的采集方式和便捷的导入功能是其最大的优点。关键字：当前位置：主页 采集帮助 了解采集 界面和功能介绍 采集管理菜单介绍 采集管理菜单介绍：下图（图 1.31）是织梦采集菜单，下面我们将一一介绍其功能作用。

4、（图片 1.31） 1) 采集节点管理：主要的工作页面，在这里不单可以对采集节点进行管理，而且还是进行数据采集的首选入口。 2) 临时内容管理：此页面显示的是我们刚才或之前采集过的临时内容，在这里我们可以对数据进行初步的处理，这些数据与前台没联系。 3) 导入采集规则：快速建立采集节点的方式，前提是你有配置好的代码。 4) 监控采集模式：检测以往采集过的节点是否有更新的文章，如果有就采集回来，没有就不管。 5) 导出所有内容：将临时内容中的数据导入到对应栏目，此时“完成后自动生成导入内容 HTML”功能不可用。 6) 采集未下载内容：下载“临时内容”中未下载的内容。 本栏相关文档：共 0 页/

5、0 条记录 Copyright 2005-2009 DedeCms 本手册内容由 DedeCms 官方制作，本站保留内容版权，但允许进行转载 关键字：当前位置：主页 采集帮助 了解采集 界面和功能介绍 采集节点管理介绍 采集节点管理介绍：（图 1.32） 节点管理页面有六大功能块，下面是简单的说明： 1) 节点的创建和导入导出功能 2) 数据的采集和导出 3) 节点的更改和测试 4) 查看采集到的内容 5) 复制和清空一个选择节点出来 6) 删除选择的节点 具体操作时可在节点名称上按右键 本栏相关文档：共 0 页/0 条记录 Copyright 2005-2009 DedeCms 本手册内容由

6、 DedeCms 官方制作，本站保留内容版权，但允许进行转载 关键字：当前位置：主页 采集帮助 了解采集 界面和功能介绍 采集节点管理介绍 采集节点管理介绍：（图 1.32） 节点管理页面有六大功能块，下面是简单的说明： 1) 节点的创建和导入导出功能 2) 数据的采集和导出 3) 节点的更改和测试 4) 查看采集到的内容 5) 复制和清空一个选择节点出来 6) 删除选择的节点 具体操作时可在节点名称上按右键 本栏相关文档：共 0 页/0 条记录 Copyright 2005-2009 DedeCms 本手册内容由 DedeCms 官方制作，本站保留内容版权，但允许进行转载 关键字：当前位置：

7、主页 采集帮助 了解采集 界面和功能介绍 导入采集规则介绍 导入采集规则介绍：（图 1.34） 如果你已经有配置好的采集规则，只需把它粘贴到文本框中并提交，就能快速建立采集节点。建议用 base64 编码，支持不编码的规则，但不兼容旧版规则。 本栏相关文档：共 0 页/0 条记录 Copyright 2005-2009 DedeCms 本手册内容由 DedeCms 官方制作，本站保留内容版权，但允许进行转载 关键字：当前位置：主页 采集帮助 了解采集 界面和功能介绍 监控采集模式介绍 监控采集模式介绍：（图 1.35） 如果我们第一次采集了一个网站，那么下次这网站有新内容时我们应该怎么办呢？这

8、样自然就催生了“监控式采集”。这个功能的作用是，只检测节 点中第一页有没有新数据，有就采集，没有就不管。此功能默认检测所有节点，若想对单个节点进行监控采集，需在“采集节点管理”页面，选定单个节点进行采集 并在“附加选项”点选“监控采集模式”。本栏相关文档：共 0 页/0 条记录 Copyright 2005-2009 DedeCms 本手册内容由 DedeCms 官方制作，本站保留内容版权，但允许进行转载 关键字：当前位置：主页 采集帮助 了解采集 界面和功能介绍 导出所有内容介绍 导出所有内容介绍：使用导出所有内容，需注意下面问题： 1) 如果你采集的内容包含多个内容模型的信息，本操作将会出

9、错 2) 这种模式完成后自动生成导入内容 HTML功能无效 本栏相关文档：共 0 页/0 条记录 Copyright 2005-2009 DedeCms 本手册内容由 DedeCms 官方制作，本站保留内容版权，但允许进行转载 关键字：当前位置：主页 采集帮助 了解采集 常用过滤规则 HTML 过滤 HTML 过滤：dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:tr

10、im*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim/dede

11、:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim*)(*)/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim/dede:trim dede:trim*)(/dede:trim dede:trim*)/dede:trim dede:tri

12、m/dede:trim dede:trim*)(/dede:trim dede:trim*)/dede:trim dede:trim/dede:trim dede:trim/dede:trim dede:trim/dede:trim 本栏相关文档：共 0 页/0 条记录 Copyright 2005-2009 DedeCms 本手册内容由 DedeCms 官方制作，本站保留内容版权，但允许进行转载 关键字：当前位置：主页 采集帮助 了解采集 常用过滤规则 常用正则表达式 常用正则表达式：(*) 所有 d 数字 0-9 0-9 之间的数字 A-Za-z 字母 a-z 小写字母 A-Z 大写字母 (.*).(rar|zip|7zip|tgz) 压缩包文件 (.*).(jpg|bmp|gif|ico|pcx|jpeg|tif|png|raw|tga) 图片文件 d6 邮编 (13|15)0-99 手机号码 w+(-w+)|(.w+)*A-Za-z0-9+(.|-)A-Za-z0-9+)*.A-Za-z0-9 E-mail 地址 https?:/(w-+.)+w-+(w-./?%&=*)? URL 地址 本栏相关文档：共 0 页/0 条记录 Copyright 2005-2009 DedeCms 本手册内容由 DedeCms 官方制作，本站保留内容版权，但允许进行转载