大数据的关键技术（一）_大数据关键技术-程序员宅基地

技术标签： linq # 信息技术导论——大数据 big data gnu

一、大数据处理的基本流程——采集、存储、分析和实现

①数据采集->②数据归整->③数据存储->④数据处理->⑤数据呈现

二、大数据技术

数据采集宇预处理

数据采集和管理

数据处理与分析

数据安全与隐私保护

（一）数据采集与预处理：联机分析处理（OLAP）与实时处理分析

（二）数据存储与管理：对结构、非结构、半结构等海量数据进行存储（关系数据库、非关系数据库、数据仓库、分布式文件系统）

（三）数据处理与分析：利用 MapReduce 等结合着机器学习和数据挖掘算法实现数据分析和处理

（四）数据隐私和安全保护：构建出隐私数据保护体系和数据安全体系，保护个人隐私和数据安全。

三、Hadoop技术——分布式系统基础架构

（1） Hadoop 是用于处理（运算分析）海量数据的技术平台，且是采用分布式集群的方式。

（ 2）功能

①、存储：提供海量数据的存储服务；

②、计算：提供分析海量数据的编程框架及运行平台；

（ 3）三大核心组件：

①、 HDFS:hadoop 分布式文件系统海量数据的存储(集群服务)

②、 MapReduce :分布式运算框架（编程框架）（导 jar 包程序）

③、 Yarn :资源调度管理集群

四、MapReduce技术

（1）MapReduce 是 Hadoop 核心技术之一。

（ 2）MapReduce 框架的核心步骤主要分两部分：Map 和 Reduce。

（ 3）为分布式计算的程序设计提供了良好的编程接口，并且屏蔽了底层通信原理，使得程序员只需关心 业务逻辑本事，就可轻易的编写出基于集群的分布式并行程序。

（ 4）“Map”就是将一个任务分解成为多个子任务并行的执行；

（ 5）“Reduce”就是将分解后多任务处理的结果汇总起来，得出最后的分析结果并输出。

（6）MapReduce 的功能：

①、 数据划分和计算任务调度 ：将 job 分成多个数据块来计算，并自动调度计算节点来处理这些数据块。

②、 数据/代码互定位 ：减少数据通信，从数据所在的本地机架上寻找可用节点以减少通信延迟。

③、 系统优化 ：为了减少数据通信开销，中间结果数据进入 Reduce 节点前会进行一定的合并处理

④、 出错检测和恢复 ： MapReduce 需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务，维护数据存储的可靠性。

五、NoSQL技术

（1）NoSQL 数据库是非关系型数据库，它主要是用来解决半结构化数据和非结构化数据的存储问题。 （mongoDB、redis、hbase 等）

（ 2）NoSQL 是一种非关系型 DMS，不需要固定的架构，可以避免 joins 链接，并且易于扩展。

（ 3）NoSQL 技术功能：

①、数据管理：提供查询窗口和命令窗口功能。

②、结构管理：提供库、文档和索引等对象管理功能。

③、实时性能展示：提供核心性能指标的实时展示。

六、大数据计算模式

批处理计算

流计算

图计算

查询分析计算

（一）批处理计算

批处理计算主要解决针对大规模数据的批量处理，也是我们日常数据分析工作中常见的一类数据处理需求。

MapReduce

Spark

（二）流计算

批处理计算主要解决针对大规模数据的批量处理，也是我们日常数据分析工作中常见的一类数据处理需求。

流数据

（三）图计算

在大数据时代，许多大数据都是以大规模图或网络的形式呈现，如社交网络、传染病传播途径、交通事故对路网的影响等，此外，许多非图结构的大数据也常常会被转换为图模型后再进行处理分析。

（四）查询分析计算

针对超大规模数据的存储管理和查询分析，需要提供实时或准实时的响应，才能很好地满足企业经营管理需求。

本文链接：https://blog.csdn.net/xiaofengdada/article/details/123308227

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

FPGA vivado2019 vitis导入sdk工程, vivado VITIS导入SDK工程_vivado2019没有sdk-程序员宅基地

文章浏览阅读1w次，点赞14次，收藏63次。2019之前的工程是SDK开发的, 在2019上没有launch sdk这个选项, 而是在tools/Vitis下1 升级工程这里要升级忽略2 report ip检查状态，然后升级 IP3 生产bit流这个过程有点久, 等待弹窗出来就OK4 Export Hardware5 tools/ launch vitis 启动vitis6 导入SDK环境选择eclips选择工程目录, 点击finish..._vivado2019没有sdk

记flume部署过程中遇到的问题以及解决方法（持续更新）_ubuntu发送flume文件夹到节点一直处于发送状态-程序员宅基地

文章浏览阅读1.2k次。项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：现将调试过程中遇到的问题以及解决方法记录如下：1、 [ERROR - org.apache.thrift.server.Abstr..._ubuntu发送flume文件夹到节点一直处于发送状态

Python+Pandas数据清洗的步骤_数据清洗和准备(pandas)字符串操作-程序员宅基地

文章浏览阅读1.4k次，点赞4次，收藏26次。清洗数据是数据预处理的一个重要步骤，Pandas 提供了许多功能和方法来帮助您进行数据清洗。以下是一般情况下使用 Pandas 清洗数据的常见步骤：_数据清洗和准备(pandas)字符串操作

不到三个月，我在CSDN的第一个一万-程序员宅基地

文章浏览阅读2k次。不到三个月，我在CSDN的第一个一万

Invalid number of channels in input image: > 'VScn::contains(scn)' > where > 'scn' is 1_> invalid number of channels in input image: > 'vs-程序员宅基地

文章浏览阅读3.2w次，点赞5次，收藏12次。在做图片语义分割的项目，对图片数据标注后，又对数据进行扩增，然后倒入图片，进行模型训练，但是读图片的时候提示如下错误。 image = cv2.cvtColor(cv2.imread(path,-1), cv2.COLOR_BGR2RGB)cv2.error: OpenCV(3.4.3) /io/opencv/modules/imgproc/src/color.hpp:255: err..._> invalid number of channels in input image: > 'vscn::contains(scn)' > where

Dedecms5.7数据结构说明文档_数据结构说明文件-程序员宅基地

文章浏览阅读1.4k次。Dedecms5.7数据结构说明文档1、dede_addonarticle：附加文章表表名：dede_addonarticle(ENGINE=MyISAM/CHARSET=utf8)说明：附加文章表字段名说明描述具体参数aid文章ID_数据结构说明文件