物联网-物联网智能数据处理技术_物联网数据处理技术-程序员宅基地

技术标签：大数据数据挖掘与云计算物联网

物联网数据处理技术的基本概念

物联网数据的特点

海量
动态
多态
关联

从无线传感器网络TinyDB数据库结构中可以清晰地看到物联网数据“海量、动态、多态、关联”的特点

物联网中的数据、信息与知识

物联网数据处理关键技术

数据存储
数据融合
数据挖掘
智能决策

物联网与云计算

云计算产生的背景

云计算的分类

IaaS—基础设施即服务，只涉及到租用硬件，是一种最基础的服务
PaaS—平台即服务，已经从硬件的基础上，租用一个特定的操作系统与应用程序，来自己进行应用软件的开发
SaaS—软件即服务，在云平台提供的定制软件上，直接部署自己的应用系统

云计算的主要技术特征

按需服务—根据用户是实际计算量与数据存储量，自动分配CPU的数量与存储空间的大小，避免服务质量下降与资源浪费
资源池化—利用虚拟化技术，根据需求定制用户使用的计算与存储资源，计算与存储资源管理对用户是透明的
服务可计费—“云”可以监控用户的计算、存储资源的使用量，并根据资源的使用“量”进行计费
泛在接入—用户的各种终端设备，如PC机、笔记本计算机、智能手机和移动终端设备，都可以作为云终端，随时随地访问“云”
高可靠性—“云”采用数据多副本备份冗余，计算节点可替换等方法，提高云计算系统的可靠性
快速部署—云计算不针对某一些特定的应用，用户可以方便地开发各种应用软件，组建自己的应用系统，快速部署业务

云计算模式

云计算是一种计算模式，它是将计算与存储资源、软件与应用作为服务，通过网络提供给用户

物联网与大数据

数据挖掘的基本概念

透过数据，应用一定的分析方法，从大量数据中提取出一些有价值的信息和知识，这个过程就是“数据挖掘（Data Mining）”

数据量单位与换算关系

大数据的特征

大数据的“5V”特征

大体量（Volume）：数据量达到数百TB到数百PB，甚至是EB的规模
多样性（Variety）：数据为各种格式与各种类型
时效性（Velocity）：数据需要在一定的时间限度下得到及时处理
准确性（Veracity）：处理结果要保证一定的准确性
大价值（Value）：分析挖掘的结果可以带来重大的经济效益与社会效益

大数据研究的价值

2007年图灵奖获得者吉姆·格雷指出：科学研究将从实验科学、理论科学、计算科学，发展到数据科学；“数据密集型科学发现”将成为科学研究的第四范式；科学研究将从实验科学、理论科学、计算科学发展到目前兴起的数据科学
大数据对世界经济、自然科学、社会科学的发展将会产生重大和深远的影响；物联网的大数据应用是国家大数据战略的重要组成部分，结合物联网应用的大数据研究必将成为物联网研究的重要内容

物联网大数据研究的特殊性

1. 物联网大数据与一般大数据研究共性的一面

可视化分析—物联网大数据分析的可视化能够以非常直观的形式呈现给物联网用户，更容易帮助不同行业的物联网用户从中提取有价值的知识，帮助科学决策
数据挖掘算法—物联网行业应用关系国计民生与生命安全，对数据挖掘结果的时效性、可靠性与可信性要求很高，必须由大数据专家与行业专家合作研究数据挖掘算法
预测性分析能力—对于物联网应用预测性分析十分重要，需要组织行业专家、物联网专家与大数据专家相结合的研究队伍，研究适应不同行业物联网大数据的预测模型与算法
语义引擎—物联网需要一套新的理论与方法来实现对地理位置分布的各种数据资源进行规范和灵活地组织，方便用户通过关键词、标签关键词或其他输入语义的搜索，提高主动获取知识的能力
数据质量与数据管理—不同传感器感知的原始数据的汇聚，多维数据融合、多用户协同感知与数据质量管理，使得处理之后的结果更能够高精度地反映真实面貌，是物联网大数据研究的重点

2. 物联网大数据研究个性的一面

异构性与多样性—物联网的数据来自不同的行业、不同的应用、不同的感知手段，有人与人、人与物、物与物、机器与人、机器与物、机器与机器等各种数据，这些数据可以进一步分为：状态数据、位置数据、个性化数据、行为数据与反馈数据，数据具有明显的异构性与多样性
实时性、突发性与颗粒性—物联网感知数据是系统控制命令与策略制定的基础，对物联网数据处理时间要求很高；同时，事件发生往往很突然和超出预判，事先无法考虑周全，物联网感知设备获得的数据很容易出现不全面和噪声干扰，物联网大数据的研究需要注意到数据实时性、突发性与颗粒性的特点
非结构化与隐私性—物联网应用系统中存在着大量图像、视频、语音、超媒体等非结构化数据，增加了数据处理的难度。物联网应用系统的数据中隐含有大量企业重要的商业秘密与个人隐私信息，数据处理中的信息安全与隐私保护难度大

未来展望

未来的各种物联网应用，以及从个人计算机、笔记本计算机、平板电脑、智能手机、GPS、RFID读写器、智能机器人、可穿戴计算等数字终端设备装置，都可以作为云终端在云计算环境中使用，云计算将成为物联网重要的信息基础设施之一
物联网中智能交通、智能环保、智能医疗中的大量传感器、RFID芯片、视频监控探头、工业控制系统是造成数据“爆炸”的重要原因之一，物联网为大数据技术的发展提出了重大的应用需求，成为大数据技术发展的重要推动力之一
大数据对世界经济、自然科学、社会科学的发展将会产生重大和深远的影响，物联网的大数据应用是国家大数据战略的重要组成部分，结合物联网应用的大数据研究必将成为物联网研究的重要内容
大数据应用水平直接影响着物联网应用系统存在的价值与重要性，大数据应用的效果是评价物联网应用系统技术水平的关键指标之一

本文链接：https://blog.csdn.net/weixin_37079656/article/details/86560526

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

软件测试流程包括哪些内容？测试方法有哪些？_测试过程管理中包含哪些过程-程序员宅基地

文章浏览阅读2.9k次，点赞8次，收藏14次。测试主要做什么？这完全都体现在测试流程中，同时测试流程是面试问题中出现频率最高的，这不仅是因为测试流程很重要，而是在面试过程中这短短的半小时到一个小时的时间，通过测试流程就可以判断出应聘者是否合适，故在测试流程中包含了测试工作的核心内容，例如需求分析，测试用例的设计，测试执行，缺陷等重要的过程。..._测试过程管理中包含哪些过程

政府数字化政务的人工智能与机器学习应用：如何提高政府工作效率-程序员宅基地

文章浏览阅读870次，点赞16次，收藏19次。1.背景介绍政府数字化政务是指政府利用数字技术、互联网、大数据、人工智能等新技术手段，对政府政务进行数字化改革，提高政府工作效率，提升政府服务质量的过程。随着人工智能(AI)和机器学习(ML)技术的快速发展，政府数字化政务中的人工智能与机器学习应用也逐渐成为政府改革的重要内容。政府数字化政务的人工智能与机器学习应用涉及多个领域，包括政策决策、政府服务、公共安全、社会治理等。在这些领域，人工...

ssm+mysql+微信小程序考研刷题平台_mysql刷题软件-程序员宅基地

文章浏览阅读219次，点赞2次，收藏4次。系统主要的用户为用户、管理员，他们的具体权限如下：用户：用户登录后可以对管理员上传的学习视频进行学习。用户可以选择题型进行练习。用户选择小程序提供的考研科目进行相关训练。用户可以进行水平测试，并且查看相关成绩用户可以进行错题集的整理管理员：管理员登录后可管理个人基本信息管理员登录后可管理个人基本信息管理员可以上传、发布考研的相关例题及其分析，并对题型进行管理管理员可以进行查看、搜索考研题目及错题情况。_mysql刷题软件

根据java代码描绘uml类图_Myeclipse8.5下JAVA代码导成UML类图-程序员宅基地

文章浏览阅读1.4k次。myelipse里有UML1和UML2两种方式，UML2功能更强大，但是两者生成过程差别不大1.建立Test工程，如下图，uml包存放uml类图package com.zz.domain;public class User {private int id;private String name;public int getId() {return id;}public void setId(int..._根据以下java代码画出类图

Flume自定义拦截器-程序员宅基地

文章浏览阅读174次。需求：一个topic包含很多个表信息，需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。发送到Kafka中的数据原本最外层原本没有pkDay和project，只有data和name。因为担心data里面会空值，所以根同事商量，让他们在最外层添加了project和pkDay字段。pkDay字段用于表的自动分区，proejct和name合起来用于自动拼接hive表的名称为 ..._flume拦截器自定义开发 kafka

java同时输入不同类型数据,Java Spring中同时访问多种不同数据库-程序员宅基地

文章浏览阅读380次。原标题：Java Spring中同时访问多种不同数据库多样的工作要求，可以使用不同的工作方法，只要能获得结果，就不会徒劳。开发企业应用时我们常常遇到要同时访问多种不同数据库的问题，有时是必须把数据归档到某种数据仓库中，有时是要把数据变更推送到第三方数据库中。使用Spring框架时，使用单一数据库是非常容易的，但如果要同时访问多个数据库的话事件就变得复杂多了。本文以在Spring框架下开发一个Sp..._根据输入的不同连接不同的数据库