物联网智能信息处理技术.ppt

《物联网应用技术导论》课件第4章 物联网服务与管理技术,,,4.4 物联网智能信息处理技术,智能信息处理指信息的储存、检索、智能化分析利用，比如利用人工智能对感知的信息作出决策和处理。物联网的智能信息处理主要针对感知的数据，而物联网的数据具有三个独特的特点： 1、异构性 在物联网中，不仅不同的感知对象有不同类型的表征数据，即使是同一个感知对象也会有各种不同格式的表征数据。比如在物联网中为了实现对一栋写字楼的智能感知，需要处理各种不同类型的数据，如文本、图形、音频、视频，互联网上提供的相关超文本链接标记语言(HTML)等。 为了实现完整准确的感知，必须综合利用不同类型的数据获得全面准确信息。,,,,,4.4 物联网智能信息处理技术,2、海量性 物联网是网络和数据的海洋。在物联网中海量对象连接在一起，每个对象每时每刻都在变化，表达其特征的数据也会不断地积累。如何有效地改进已有的技术和方法，或者提出新的技术和方法，从而高效地管理和处理这些海量数据，将是从这些原始数据中提取信息并进一步融合、推理和决策的关键。 3、不确定性 物联网中的数据具有明显的不确定性特征，主要包括数据本身的不确定性、语义匹配的不确定性和查询分析的不确定性等。为了获得客观对象的准确信息，需要去粗取精、去伪存真，以便更全面地进行表达和推理。,,,,,4.4 物联网智能信息处理技术,4.4.1 数据库与数据存储技术,在物联网应用中数据库起着记忆（数据存储）和分析（数据挖掘）的作用，因此没有数据库的物联网是不完整的。 目前常用数据库技术一般有关系型数据库和非关系型数据库（比如实时数据库和NoSQL数据库）。,,,,1、关系数据库 关系数据库是指采用关系模型来组织数据的数据库。简单地说，关系模型就是二维表格模型，一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。 关系型数据库具有如下特点： 1、容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其它模型来说更容易理解。 2、使用方便：通用的SQL语言使得操作关系型数据库非常方便，程序员和数据管理员可以方便地操作数据库，而完全不必理解其底层实现。 3、易于维护：丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。 目前，关系数据库广泛应用于各个行业，是构建管理信息系统，存储及处理关系数据不可缺少的基础软件。,,,,,2、非关系数据库 1）实时数据库 实时数据库（RTDB－Real Time DataBase）是数据库系统发展的一个分支，是实时系统和数据库技术相结合的产物。 实时数据库对数据的实时性要求比较高，因而实时、高效、稳定是实时数据库最关键的指标。 目前，实时数据库已广泛应用于电力、石油石化、交通、冶金、军工、环保等行业，是构建工业生产调度监控系统、指挥系统、生产实时历史数据中心的不可缺少的基础软件。 物联网的数据采集之后必须要有一个可靠的数据仓库，而实时数据库可以作为支撑海量数据的数据平台。,,,2）NoSQL数据库 NoSQL也被认为是Not Only SQL的简写，是对不同于传统的关系型数据库的数据库管理系统的统称。 NoSQL不使用SQL作为查询语言，而是使用如 文档型的、列存储、图型数据库等方式存储数据的模型。,,与传统的关系型数据库相比，NoSQL数据库的存储数据方式发生了变化：例如，当需要存储发票的数据时，在传统的关系数据模型中，需要设计表的结构，然后使用服务器端语言将其转化为实体对象，再传递到用户端 ；而在 NoSQL 中，只需要保存发票数据。 NoSQL 不需要预先设计表和结构就可存储新的数值。,,,,NoSQL数据库拥有三“高”特征： （1）High performance（满足对数据库高并发读写的需求） （2）Huge Storage （满足对海量数据的高效率存储和访问的需求） （3）High Scalability && High Availability （满足对数据库的高可扩展性和高可用性的需求）。 NoSQL数据库能够满足物联网应用的大数据的需求，将会随着物联网应用的发展展现新的应用和发展空间。,,,3、关系数据库和实时数据库的选择 实时数据库比关系型数据库更能胜任海量并发数据的采集、存储。面对越来越多的数据，关系型数据库的处理响应速度会出现延迟甚至假死，而实时数据库不会出现这样的情况。 对于仓储管理、标签管理、身份管理等数据量相对比较小，实时性要求低的应用领域，关系型数据库更加适合。 智能电网、水域监测、智能交通、智能医疗等将来面临海量并发，对实时性要求极高的应用领域，实时数据库具有更多的优势。 试点型工程阶段时，需要采集点较少，关系型数据库可以替代实时数据库。应用范围越来越广泛，采集点就会相应的增多，实时数据库是最好的选择。,,,,,4.4.2 数据融合与数据挖掘,1、数据融合及目标 数据融合是一种数据处理技术，指将多种数据或信息进行处理得出高效且符合用户需求的数据的过程。 它是利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合的一种信息处理技术。 数据融合类似人类和其他动物对复杂问题的综合处理，比如在辨别一个事物的时候，通常会综合各种感官信息，包括视觉、触觉、嗅觉和听觉等。,,,数据融合一般有数据级融合、特征级融合、决策级融合等层次的融合。（学生成绩统计表） （1）数据级融合：直接在采集到的原始数据上进行融合，是最低层次的融合，它直接融合现场数据，失真度小，提供的信息比较全面。 （2）特征级融合：先对来自传感器的原始信息进行特征提取，然后对特征信息进行综合分析和处理，这一级的融合可实现信息压缩，有利于实时处理，属于中间层次的融合。 （3）决策级融合：在高层次上进行，根据一定的准则和决策的可信度做最优决策，以达到良好的实时性和容错性。,,2、数据挖掘概念、过程 （1）基本概念 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取潜在的、事先未知的、有用的、能被人理解的有用信息和知识的数据处理过程。 数据挖掘的数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用。被挖掘的数据可以是结构化的关系数据库中的数据，半结构化的文本、图形和图像数据等。 数据挖掘是决策支持和过程控制的重要支撑手段之一。,,,,,（2）数据挖掘过程 数据挖掘过程一个反复迭代的人机交互和处理过程， 主要包括数据预处理、数据挖掘和对数据挖掘结果的评估 与表示三个阶段： ①数据预处理阶段 数据准备：了解领域特点，确定用户需求。 数据选取：从原始数据库中选取相关数据或样本。 数据预处理：检查数据的完整性及一致性，消除噪声等。 数据变换：通过投影或其他操作减少数据量。,,,,,,②数据挖掘阶段 确定挖掘目标：确定要发现的知识类型。 选择算法：根据确定的目标选择合适的数据挖掘算法。 数据挖掘：运用所选算法，提取相关知识并以一定的方式表示。 ③知识评估与表示阶段 模式评估：对数据挖掘步骤中发现的模式（知识)进行评估。 知识表示：呈现所挖掘的知识。,,,,3、物联网的数据挖掘 数据挖掘时决策支持和过程控制所采用重要技术手段，是物联网中重要的一环。 在物联网中进行数据挖掘已经从传统意义上的数据统计分析、潜在模式发现与挖掘，转向成为物联网中不可缺少的工具和环节。,,（1）物联网的计算模式 物联网一般有两种基本计算模式，即物计算模式和云计算模式。 物计算模式基于嵌入式系统，强调实时控制，对终端设备的性能要求较高，系统的智能主要表现在终端设备上。 云计算模式以互联网为基础，目的是实现资源共享和资源整合，其计算资源是动态、可伸缩、虚拟化的。云计算模式通过分布式的方式采集物联网中的数据，系统的智能主要体现在数据挖掘和处理上，需要较强的集中计算能力和高带宽，但终端设备比较简单。,,,,,（2）两种模式的选择 物计算模式： 对于要求实时高效的数据挖掘，物联网任何一个控制端均需要对瞬息万变的环境实时分析、反应和处理，需要物计算模式和利用数据挖掘结果。 基于云计算模式： 以海量数据挖掘为特征的应用需要进行数据质量的控制，如多媒体、多格式数据的存储与管理等。,,,,,（3）数据挖掘的应用 物联网数据挖掘分析应用通常都可以归纳为预测和寻证分析 两大类。 预测（Forecasting） ：主要用在（完全或部分）了解现状的 情况下，推测系统在近期或者中远期的状态。 例如： ①在智能电网中，预测近期扰动的可能性和发生的地点； ②在智能交通系统中，预测拥阻和事故在特定时间和地点可能发生 的概率； ③在环保体系中，根据不同地点的废物排放，预测将来发生生物化 学反应产生污染的可能性。,,,,,寻证分析（Provenance Analysis）： 当系统出现问 题或者达不到预期效果时， 分析它在运行过程中哪个环节 出现了问题。 例如： （1）在食品安全应用中，一旦发生质量问题，需要在食品供应链中寻找相应证据，明确原因和责任； （2）在环境监控中，当污染物水平超标时，需要在记录中寻找分析原因。,,,,,通过植入土壤或暴露在空气中的传感器监控土壤性状和环境状况；数据通过物联网传输到远程控制中心，可及时查询当前农作物的生长环境现状和变化趋势，确定农作物的生产目标；通过数据挖掘的方法还可以知道环境温度湿度和土壤各项参数等因素是如何影响农作物产量的，如何调节它们才能够最大限度地提高农作物的产量等。,,,,数据挖掘在精准农业中的应用示例：,,,4.5 物联网信息安全与隐私保护,,,,据权威估计，到2020年全世界的智能物体（Smart things）有 近500亿连接到网络中去，物联网通过感知与控制，将物联网融入 到我们的生活、生产和社会中去，物联网的安全问题不容忽视。 如果忽视物联网的安全问题，我们的隐私会由于物联网的安全 性薄弱而暴露无遗，从而严重影响我们的正常生活。 因此在发展物联网的同时，必须对物联网的安全隐私问题更 加重视，保证物联网的健康发展。,,,,,具体地讲，物联网的安全主要有如下四个特点： 1、物联网的设备、节点等无人看管，容易受到操纵和破坏。 物联网的许多应用可以代替人完成一些复杂、危险和机械的工作，物联网中设备、节点的工作环境大都是无人监控。因此攻击者很容易接触到这些设备，从而对设备或其嵌入其中的传感器节点进行破坏。攻击者甚至可以通过更换设备的软硬件，对它们进行非法操控。例如，在远程输电过程中，电力企业可以使用物联网来远程操控一些变电设备。由于缺乏看管，攻击者可轻易地使用非法装置来干扰这些设备上的传感器。如果变电设备的某些重要参数被篡改，其后果将会极其严重。,4.5.1 物联网安全的特点,,,,,2、信息传输主要靠无线通信方式，信号容易被窃取和干扰。 物联网在信息传输中多使用无线传输方式，暴露在外的无线信号很容易成为攻击者窃取和干扰的对象，对物联网的信息安全产生严重的影响。 例如攻击者可以通过窃取感知节点发射的信号，来获取所需要的信息，甚至是用户的机密信息并可据此来伪造身份认证，其后果不堪设想。,,,,,3、出于低成本的考虑，传感器节点通常是资源受限的。 物联网的许多应用通过部署大量的廉价传感器覆盖特定区域。廉价的传感器一般体积较小，使用能量有限的电池供电，其能量、处理能力、存储空间、传输距离、无线电频率和带宽都受到限制，因此传感器节点无法使用较复杂的安全协议，因而这些传感器节点或设备也就无法拥有较强的安全保护能力。攻击者针对传感器节点的这一弱点，可以通过采用连续通信的方式使节点的资源耗尽。,,,,,4、物联网中物品的信息能够被自动地获取和传送。 物联网通过对物品的感知实现物物相连，比如通过RFID(射频识别)、传感器、二维识别码和GPS定位等技术能够随时随地且自动地获取物品的信息。 同样这种信息也能被攻击者获取，在物品的使用者没有察觉的情况下，物品的使用者将会不受控制地被扫描、定位及追踪，对个人的隐私构成了极大威胁。,,4.5.2 物联网各层的安全问题,,,,综合而言，物联网从安全上讲涉及到信息安全感知、可靠感知数据传输和安全信息操控。从层面上讲，如图所示，涉及到感知层、网络层、信息处理层和应用层四个层面。,,,,,,对于物联网的安全，可以参照互联网所设计的安全防范体系，在传感层、网络传输层和应用层分别设计相应的安全防范体系，如下图所示。,,,,,,,1、感知层的安全问题： 感知层处于物联网的最底层，是物联网的原始数据来源地，也是许多物联网应用层控制硬件实现端。 物联网感知层要实现感知和控制的功能，一旦感知层的节点受到攻击，不仅可以破坏数据的正确来源，还会造成控制的失败，从而破坏物联网的正常工作。,,,,,,,感知层的信息安全问题主要有以下几个方面： （1）传感网的普通节点被对方捕获，为入侵者对物联网发起攻击提供了可能性； （2）传感网的网关节点被对方控制，安全性全部丢失； （3）尽管现有的互联网具备相对完整的安全保护能力，但由于互联网中存在的数量庞大的节点，将会导致大量的数据同时发送，使得传感网的节点（普通节点或网关节点）受到来自于网络的拒绝服务（DOS）攻击；,,,,,,,物联网感知层的信息安全防护 （1）加强对传感网机密性的安全控制 在传感网内部，需要有效的密钥管理机制，用于保障传感网内部通信的安全，机密性需要在通信时建立一个临时会话密钥，确保数据安全。 例如在物联网构建中选择射频识别系统，应该根据实际需求考虑是否选择有密码和认证功能的系统。,,,,,,,（2）加强节点认证 个别传感网（当传感数据需共享时）需要节点认证，确保非法节点不能接入。认证性可以通过对称密码或非对称密码方案解决。,,,,,,,（3）加强入侵监测 一些重要传感网需要对可能被对方控制的节点行为进行评估，以降低对方入侵后的危害。敏感场合，节点要设置封锁或自毁程序，使攻击者无法完成对节点的分析和攻击。 （4）加强对传感网的安全路由控制 几乎所有传感网内部都需要不同的安全路由技术。传感网的安全需求所涉及的密码技术包括轻量级密码算法、轻量级密码协议、可设定安全等级的密码技术等。,,,,,,,,2、网络传输层的安全问题： 处于网络末端的节点的传输如感知层的问题一样，节点功能简单，能量有限，使得它们无法拥有复杂的安全保护能力，对网络传输层的安全保障带来困难。 物联网的传输层主要用于把感知层收集到的信息安全可靠地传输到信息处理层，然后根据不同的应用需求进行信息处理，而网络层是一个高度异构的网络。 物联网传输层的异构网络信息交换的安全性是其中的脆弱点，特别在网络认证方面，难免存在中间人攻击和其他类型的攻击。这需要有更高的安全防护措施。,,,,,,,对于传输层的安全要求： （1）数据机密性：要保证数据在传输过程中不泄露内容； （2）数据完整性：要保证数据在传输过程中不被非法篡改，并且被篡改的数据容易被检测出； （3）数据流机密性：对数据流量进行保密，防止数据流量信息被非法窃取； （4）DDOS攻击（分布式拒绝服务）检测与预防：DDOS是网络中常见的攻击现象，在物联网中要能及时检测到DDOS攻击的发生，并能对脆弱节点如网关的DDOS攻击进行防护；,,,,,,,,3、处理层的安全问题： 处理层的安全挑战包括如下几个方面： （1）来自于超大量终端的海量数据的识别和处理； （2）智能变为低能； （3）自动变为失控（可控性是信息安全的重要指标之一） （4）灾难控制和恢复； （5）非法人为干预（内部攻击）； （6）设备（特别是移动设备）的丢失。,,,,,,,物联网智能处理层的基本安全需求，需要如下的安全机制： （1）可靠的认证机制和密钥管理方案； （2）高强度数据机密性和完整性服务； （3）可靠的密钥管理机制； （4）可靠的高智能处理手段； （5）入侵检测和病毒检测； （6）恶意指令分析和预防，访问控制及灾难恢复机制； （7）保密日志跟踪和行为分析，恶意行为模型的建立； （8）密文查询、秘密数据挖掘、安全多方计算、安全云计算技术等； （9）移动设备文件（包括秘密文件）的可备份和恢复； （10）移动设备识别、定位和追踪机制。,,,,,,,,4、应用层的安全问题： 一般认为需要隐私保护的应用至少包括以下几种： （1）移动用户既需要知道（或被合法知道）其位置信息，又不愿意非法用户获取该信息； （2）用户既需要证明自己合法使用某种业务，又不想让他人知道自己在使用某种业务，如在线游戏； （3）病人急救时需要及时获得该病人的电子病历信息，但又要保护该病历信息不被非法获取，包括病历数据管理员。 （4）许多业务需要匿名性，很多情况下，用户信息是认证过程的必须信息，如何对这些信息提供隐私保护，是一个具有挑战性的问题，但又是必须要解决的问题。,,,,,,,基于物联网综合应用层的安全挑战和安全需求，需要如下的安全机制： （1）有效的数据库访问控制和内容筛选机制； （2）不同场景的隐私信息保护技术； （3）信息泄露追踪机制； （4）有效的计算机取证技术； （5）安全的计算机数据销毁技术； （6）安全的电子产品和软件的知识产权保护技术。 针对这些安全架构，需要发展相关的密码技术，包括访问控制、匿名签名、匿名认证、密文验证、门限密码、数字水印和指纹技术等。,,,,小 结：,数据库与数据存储技术 数据融合与数据挖掘 物联网信息安全与隐私保护,,本章小结,本章主要讲述物联网的信息处理与服务技术，分别对云计算技术、中间件技术、数据库及数据存储技术、数据融合与数据挖掘、安全及隐私保护等。物联网的服务与管理技术负责对数据信息进行智能信息处理并为应用层提供服务，属于物联网的高层次和深层次的技术应用，但目前由于物联网处于初级阶段，物联网的信息智能处理与应用还刚刚起步，相信随着物联网应用的发展和推进，物联网的智能信息处理技术会结合具体应用得到飞速发展。,,,