地质数据质量检查与评价.doc

1、国土资源数据库数据质量检查验收规范Specification for data quality inspection and acceptance of land and resources databases国土资源部信息中心I目 次1 范围 .12 规范性引用文件 .13 术语和定义 .14 数据检查验收的基本要求 .24.1 检查验收的依据 .34.2 检查验收方式 .34.3 检查验收方案的制定 .34.4 检查验收程序 .34.5 数据质量等级的划分 .45 数据质量元素和缺陷分级 .45.1 数据质量元素 .55.1.1 数据质量定量元素 .55.1.2 数据质量定性元素 .55.

2、2 缺陷 .66 质量检查评价流程 .67 数据质量检查内容 .78 数据抽样方案和抽样方法 .98.1 接收质量限（AQL） .98.2 数据抽样方案 .98.2.1 连续批抽样方案表 .98.2.2 连续批抽样方案查找方法 .98.2.3 连续批数据正常、加严和放宽检验的调整规则 .108.2.4 单批数据的抽样方案及查找方法 .108.3 数据抽样方法 .108.3.1 统计抽样 .108.3.2 判断抽样 .118.3.3 空间抽样 .119 数据抽样检验 .119.1 抽样检验流程 .119.2 抽样检验过程 .129.2.1 确定数据质量定量元素 .129.2.2 确定抽检的检查项

3、及范围 .129.2.3 确定接收质量限 AQL 及缺陷分级 .129.2.4 确定抽样方案和方法 .139.2.4.3 属性数据抽样 .139.3 批的接收判定规则 .1410 检查方法及检查结果的记录 .1410.1 检查方法 .1410.1.1 计算机自动检查 .1410.1.2 计算机辅助检查 .1510.1.3 人工检查 .1510.2 检查结果的记录 .1511 数据质量评价 .1711.1 数据质量合格的判定规则 .1711.2 质量评价方法 .1711.2.1 按通过与不通过判定数据质量的评价方法 .17II11.2.2 按优秀、良好、合格与不合格判定数据质量的评价方法 .18

4、11.3 数据质量报告 .19附 录 A （资料性附录） 数据的缺陷分级 .20附 录 B （规范性附录） 数据抽样方案 .23附 录 C （资料性附录） 数据抽样方法示例 .30附 录 D （资料性附录） 多级表数据抽样方案示例 .31附 录 E （资料性附录） 数据质量报告格式 .33附 录 F （资料性附录） 市级矿产资源总体规划数据库整合成果检查验收示例 .35附 录 G （资料性附录） 土地利用数据库成果检查验收示例 .46参考文献 .571国土资源数据库数据质量检查验收规范1 范围本标准给出了国土资源数据质量元素、缺陷分级；规定了国土资源数据库数据检查验收的基本要求、程序、检查内容

5、、抽样检验方法、质量评价方法以及检查验收过程中相关文档的内容和格式要求等。本标准适用于国土资源数据库生产过程和验收阶段的数据质量检查和评价。2 规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。GB/T 2828.1-2003 计数抽样检验程序 第1部分 按接收质量限（AQL）检索的逐批检验抽样计划GB/T 13989-1992 国家基本比例尺地形图分幅和编号GB/T 21336

6、-2008/ISO 19114:2003 地理信息 质量评价过程GB/T 21337-2008/ISO 19113:2002 地理信息 质量原则3 术语和定义下列术语和定义适用于本标准。3.1数据质量元素 data quality element说明对数据产品规范或用户要求符合程度的数据质量特性。注：对于数据产品而言，完整性、逻辑一致性、可用性等质量特性都可以是数据产品的质量元素，可分为不同的级别。3.2数据质量定量元素 data quality quantitative element数据质量特性可定量描述的部分，又称数据质量量化元素。根据ISO 19113改写。3.3数据质量定性元素 da

7、ta quality overview element数据质量特性可定性描述的部分，又称数据质量非量化元素。根据ISO 19113改写。3.4个体 item质量检查的基本单元，又称检验单元。可以是图幅、实体或数据项。3.5总体 population检查的全部个体。3.6批 lot汇集在一起的一定数量的个体。根据GB/T 2828.1-2003改写。3.7批量 lot size批中所含个体的数量。根据GB/T 2828.1-2003改写。23.8样本 sample从检验批中抽取的用于检查的全部个体的总称。根据GB/T 2828.1-2003改写。3.9样本量 sample size样本中所含个体

8、的数量。根据GB/T 2828.1-2003改写。3.10缺陷 defect质量元素不满足规定的要求。3.11致命缺陷 the most serious defect个体的极重要质量特性不符合规定，或个体的质量特性极严重不符合规定，以致不经返工处理不能提供用户使用。根据GB/T 18316-2001改写。3.12严重缺陷 the more serious defect个体的重要质量特性不符合规定，或个体的质量特性严重不符合规定，对用户有重大影响。根据GB/T 18316-2001改写。3.13重缺陷 serious defect个体的较重要质量特性不符合规定，或个体的质量特性较严重不符合规定，

9、对用户有较大影响。根据GB/T 18316-2001改写。3.14轻缺陷 light defect个体的一般质量特性不符合规定，或个体的质量特性轻微不符合规定，对用户使用有轻微影响。GB/T 18316-2001。3.15缺陷率 rate of defect 样本（或批）中缺陷数除以样本量（或批量），再乘以100。注：对于具有不同级别缺陷的样本或批，缺陷数为除致命缺陷外所有其他级别的缺陷按比例换算后的最低级别缺陷个数。3.16不合格品 nonconforming item缺陷率不满足要求的个体。注：在国土资源数据中，以图幅为个体的数据采用不合格品衡量数据质量，此时图幅被视为批。3.17不合格品

10、率 rate of nonconforming item样本或批中不合格品数除以样本量或批量，再乘以100。3.18接收质量限（AQL） Acceptable Quality Level可接收的批数据的最大缺陷率或不合格品率。根据GB/T 2828.1-2003改写。3.19抽样检验 sampling inspection利用所抽取的样本对数据进行检查，并根据检查结果判定批数据是否接收的检验。根据GB/T 3358.2-93改写。3.20抽样方案 sampling plan3规定每批应检查的样本量和有关批数据接收准则的具体方案，用（N，n，c）表示，N 为批量，n为样本量，c为接收数。4 数据

11、检查验收的基本要求4.1 检查验收的依据）检查验收的内容和任务依据项目工作合同、协议或任务书；）验收阶段的检查验收工作依据本标准；）检查验收的质量指标依据各专业数据库的标准、指南、规范或相关要求。4.2 检查验收方式实行项目承担单位初检、项目组织单位验收的方式。）初检初检是在数据生产完成以后，由项目承担单位组织的对数据的全面检查，并根据检查结果对数据进行质量评价。）验收数据通过初检后，由项目组织单位组织专家或委托有关机构按照相关要求进行验收。验收一般只检查重点内容，也可以根据项目组织单位的具体要求进行全面检查，在检查与评价的基础上给出验收结论与质量报告。4.3 检查验收方案的制定本标准为国土资

12、源数据库数据的检查与验收通用规范。在具体数据库的检查验收时应根据实际情况对规范中的相关内容进行选择和细化，以4.1为依据制定具体的检查验收方案。一般说来，应根据制定的数据产品质量检查验收方案对数据产品进行实验性检查评价，按照实验性检查评价的情况，对方案进行调整完善。数据产品质量检查验收方案内容见表1。表 1 数据产品质量检查验收方案内容序号 内容 说明1 数据检查验收依据和要求 确定数据产品检查和验收所参考的标准和依据；确定数据产品检查和验收的具体要求，包括标准要求和用户要求。2 数据产品成果内容 确定数据产品包括的成果内容；根据成果内容的不同划分数据产品数据集；确定各数据集的权重。3 各数据

13、集质量元素 确定各数据集质量元素内容，包括一级质量元素及其包含的二级质量元素。4 检查项、检查方式和方法 根据划分的质量元素确定数据产品的检查项，检查项要依据数据集特点详尽列举； 根据检查项确定检查方式，是计算机检查还是人工检查；根据检查验收的要求、人力和时间确定抽样方案；根据检查项确定检查方法。5 缺陷分级 按质量元素和检查项，根据数据产品各数据集内容确定缺陷分级，缺陷分级应详尽列举。6 检查评价流程 依据数据集特点确定接收质量限 AQL，根据数据产品特性和质量要求，确定数据集和数据产品的检查评价方法，制定具体数据产品检查评价流程。4.4 检查验收程序检查验收程序由初检、提交、验收和复核（复

14、检）四个阶段组成，如图1所示。a）初检数据库建设项目完成并经过项目组自检和互检后，由项目承担单位组织专家对数据产品质量进行初检，并提交初检报告。4初检内容包括数据质量、完成任务情况、元数据和其它相关文档等验收所需资料。初检依据具体的验收方案所规定的检查内容和方法，对所有数据进行全面的检查和测试，填写检查记录表，编写初检数据质量报告。初检时只判定数据是否完成任务、质量是否达到验收要求，不计算具体得分。b）提交数据经初检合格，项目承担单位对初检所发现的问题进行全部修改完善后，将数据、相关文档和初检报告提交给项目组织单位。c）验收在初检的基础上，项目组织单位组织专家或委托有关机构对承担单位提交的数据

15、产品进行验收。验收方案和初检报告是验收的主要依据。项目组织单位或委托机构组织专家对数据产品进行验收。验收专家组分为检查组和综合评价组，检查组负责对数据产品进行检查并如实记录检查结果，综合评价组依据检查结果确定缺陷级别并进行评价，提出验收意见，编写数据质量报告。）复核（复检）经验收通过的数据产品，根据项目组织单位的要求和数据产品质量情况，返回承担单位进行修改完善，完成后提交项目组织单位复核。验收未获得通过的数据产品返回项目承担单位修改或重做，完成后进行复检（重新检查和验收）。项目组检查组进行检查项目组修改完善综合评定组制定验收方案综合评定组进行质量评价数据库成果提交YN承担单位组织初检是否通过验

16、收 ？N返回承担单位处理确定处理意见Y数据库成果 ： 数据 、元数据及文档生成初检报告相关标准 、 要求 、 任务书及合同书等数据库成果 ： 数据 、 元数据 、文档 及 初检报告验收意见书和质量报告相关标准 、 要求 、 任务书 、 合同书等项目组织单位组织验收是否通过初检 ？组织单位复核 ( 复检 )详细图 2 4.5 数据质量等级的划分采用两种方式对数据质量水平进行等级划分。第一种方式：采用通过与不通过表征数据质量水平。适用于对数据质量评价结果进行定性评价。图 1 国土资源数据库数据检查验收程序图5第二种方式：采用优秀、良好、合格、不合格等四个级别表征数据质量水平。适用于对数据质量评价结

17、果进行较精细定量评价。按百分制的得分划分质量等级。S为得分，数据质量等级划分标准通常为：a）优秀 S90分 b）良好 90S75分c）合格 75S60分d）不合格 S60分5 数据质量元素和缺陷分级5.1 数据质量元素根据GB/T21337-2008/ISO19113:2002地理信息 质量原则确定了数据质量元素，包括数据质量定量元素和数据质量定性元素。数据质量元素是数据质量检查与评价的基础，也用于构成元数据标准中描述数据质量的元数据元素。数据质量元素分为两个级别，一级数据质量元素是具有相同本质的二级质量元素的集合，二级质量元素是数据质量的具体特性。5.1.1 数据质量定量元素数据质量定量元素

18、是数据质量的定量组成部分，包括数据完整性、逻辑一致性、空间定位准确度、属性数据准确性以及图面整饰规范性等。数据质量定量元素的组成与描述见表2。表 2 国土资源数据质量定量元素一级质量元素 描述 二级质量元素 描述多余 数据集中多余数据的程度，如图层、空间实体、数据表、记录、数据项、符号、注记与文档等。数据完整性实体、实体属性和实体关系的多余和缺失程度遗漏 数据集中遗漏数据的程度，如数据范围（工作量） 、图层、空间实体、数据表记录、数据项、符号、注记与文档等。概念一致性 与标准的符合程度：如与数据库结构的符合程度。值域一致性值对值域的符合程度。值不应超出值域的范围；值应满足值域之间的运算关系。如

19、按照地类和行政区划进行统计的面积结果应一致。格式一致性 数据存储同数据集的物理结构匹配程度，包括数据文件、图层命名和数据格式等。拓扑一致性拓扑特征的准确度：如点、线、面类型定义正确、不同图层共用界线的一致性、多边形封闭、结点关系正确，如线状实体交叉应建结点等。逻辑一致性数据结构、属性及关系的逻辑规则的一致性程度接边一致性 相邻图幅间接边实体的类型和属性描述的一致性。数学基础精度 坐标系、投影参数、图廓点、坐标网交点、控制点坐标等的准确程度。校正精度校正控制点数目与分布的合理性，校正后数据符合精度要求。（包括影像校正和矢量数据校正） 。采集精度 空间实体位置与可以接受的值或真值的符合程度，包括扫

20、描和矢量化精度，形态控制精度等。空间定位准确度空间实体位置的准确度接边精度相邻图幅间接边吻合度，接边线（如标准图幅内图廓线或行政界线等）之间的误差满足要求，接边实体（线或弧段）误差满足要求。分类的正确性 实体及其属性分类与真值或参考数据集的符合程度。属性数据准确性定量属性的准确度、定性属性以及实体及其属性分类的正确性定性属性正确性 定性属性的正确性，如岩性描述的正确性。6一级质量元素 描述 二级质量元素 描述定量属性准确度 定量属性的准确度，如数据值及其单位的正确性；土地线状地物、零星地物的面积计算的准确性；图斑面积相对线状地物、零星地物面积及行政界线扣除的正确性。符号规范性符号正确、定位准确

21、、表示合理，符号与符号以及符号与其它要素压盖关系合理；线划光滑、符合要求、线型设置正确；符合相关专业的色系标准或规范；网纹类型、颜色、高度、宽度和透明系数等是否正确。注记规范性 注记正确、可读，压盖关系合理。图面整饰规范性符号、注记和图廓整饰的规范性图廓整饰规范性 图廓整饰符合有关标准或规定，图面结构搭配合理，美观。5.1.2 数据质量定性元素数据质量定性元素是对数据质量的间接描述，包括数据生产的目的、适应性、用途和数据志等，见表3。表 3 国土资源数据质量定性元素一级质量元素 描 述 二级质量元素 描 述目的 生成数据集的原因及其预期用途可提供数据格式的种类适用性 满足用户要求的能力易操作性

22、用途 说明数据集已经实现的应用数据现势性数据完成时间、数据更新程度、更新频度和最后更新时间等。数据源的状态生成数据集的原始资料完成的时间、介质、质量等。数据志数据集的历史。描述数据源以及从数据源到数据集当前状态的过程处理步骤或历史信息 描述在数据集演变过程中的事件或变化等。数据质量定性元素一般不作为数据检查验收时的直接评价依据，而是一种间接的数据质量信息，可帮助用户判断数据质量是否满足其应用要求。5.2 缺陷缺陷指个体的任何一个质量元素不符合规定的要求。在数据质量检查评价中，用缺陷来量化检查中出现的各类不符合规定的问题。本标准用质量元素的重要程度和质量元素不符合规定要求的严重程度划分缺陷的级别

23、。为提高质量量度的准确性，将缺陷分为六级，即致命缺陷、严重缺陷、重缺陷、次重缺陷、轻缺陷和次轻缺陷。为便于质量评价，赋予除致命缺陷以外的其他5个缺陷级别之间的换算比例，推荐比例为16:9:5:2:1。有些数据的检查需要将出现的多个问题记为一个次轻缺陷，使用者可根据具体情况进行调整。以图形为主的空间数据、以属性为主的数据（包括点空间数据）和符号化制图数据的缺陷分级及不同级别缺陷的转换比例见附录A 。6 质量检查评价流程国土资源数据库是一种数据产品，通常由多个数据集组成。在对各个数据集检查评价的基础上，综合评价数据产品质量。质量检查评价一般需要经过制定验收方案、确定检查内容和方法、实施检查和评价四个阶段。检查评价流程见图2。