技术标签: hive 数据分析 大数据开发 hdfs hadoop 大数据
目录
1.5.4 HDFS、YARN、MapReduce 三者关系
1.1 Hadoop 是什么
(1 ) Hadoop 是一个由 Apache 基金会所开发的 分布式系统基础架构 。(2 )主要解决,海量数据的 存储 和海量数据的 分析计算 问题。(3 )广义上来说, Hadoop 通常是指一个更广泛的概念 —— Hadoop 生态圈 。
1.2 Hadoop 发展历史
(1 ) Hadoop 创始人 Doug Cutting ,为 了实 现与 Google 类似的全文搜索功能,他在 Lucene 框架基础上进行优化升级,查询引擎和索引引擎。(2 ) 2001 年年底 Lucene 成为 Apache 基金会的一个子项目。(3 )对于海量数据的场景, Lucene 框 架面 对与 Google 同样的困难, 存 储海量数据困难,检 索海 量速度慢 。(4 )学习和模仿 Google 解决这些问题的办法 :微型版 Nutch 。(5 )可以说 Google 是 Hadoop 的思想之源( Google 在大数据方面的三篇论文)GFS --->HDFSMap-Reduce --->MRBigTable --->HBase(6 ) 2003-2004 年, Google 公开了部分 GFS 和 MapReduce 思想的细节,以此为基础 Doug Cutting 等人用了 2 年业余时间 实现了 DFS 和 MapReduce 机制,使 Nutch 性能飙升。(7 ) 2005 年 Hadoop 作为 Lucene 的子项目 Nutch 的一部分正式引入 Apache 基金会。(8 ) 2006 年 3 月份, Map-Reduce 和 Nutch Distributed File System ( NDFS )分别被纳入到 Hadoop 项目中, Hadoop 就此正式诞生,标志着大数据时代来临。(9 )名字来源于 Doug Cutting 儿子的玩具大象
1.3 Hadoop 三大发行版本
Hadoop 三大发行版本: Apache 、 Cloudera 、 Hortonworks 。Apache 版本最原始(最基础)的版本,对于入门学习最好。 2006Cloudera 内部集成了很多大数据框架,对应产品 CDH 。 2008Hortonworks 文档较好,对应产品 HDP 。 2011Hortonworks 现在已经被 Cloudera 公司收购,推出新的品牌 CDP 。(1 ) Apache Hadoop官网地址: http://hadoop.apache.org下载地址: https://hadoop.apache.org/releases.html(2 ) Cloudera Hadoop官网地址: https://www.cloudera.com/downloads/cdh下载地址: https://docs.cloudera.com/documentation/enterprise/6/releasenotes/topics/rg_cdh_6_download.html( 1 ) 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供 Hadoop 的商用解决方案,主要是包括支持、咨询服务、培训。(2 ) 2009 年 Hadoop 的创始人 Doug Cutting 也加盟 Cloudera 公司 。 Cloudera 产品主要为 CDH , Cloudera Manager , Cloudera Support(3 ) CDH 是 Cloudera 的 Hadoop 发行版,完全开源,比 Apache Hadoop 在兼容性,安全性,稳定性上有所增强。 Cloudera 的标价为每年每个节点 10000 美元 。(4 ) Cloudera Manager 是集群的软件分发及管理监控平台,可以在几个小时内部署好一个 Hadoop 集群,并对集群的节点及服务进行实时监控。(3 ) Hortonworks Hadoop官网地址: https://hortonworks.com/products/data-center/hdp/下载地址: https://hortonworks.com/downloads/#data-platform( 1 ) 2011 年成立的 Hortonworks 是雅虎与硅谷风投公司 Benchmark Capital 合资组建。(2 )公司成立之初就吸纳了大约 25 名至 30 名专门研究 Hadoop 的雅虎工程师,上述工程师均在 2005 年开始协助雅虎开发 Hadoop ,贡献了 Hadoop80% 的代码。(3 ) Hortonworks 的主打产品是 Hortonworks Data Platform ( HDP ),也同样是 100% 开源的产品, HDP 除常见的项目外还包括了 Ambari ,一款开源的安装和管理系统。(4 ) 2018 年 Hortonworks 目前 已经被 Cloudera 公司收购
1.4 Hadoop优势(4高)
1.5 Hadoop 组成(面试重点)
1.5.1 HDFS 架构概述
Hadoop Distributed File System ,简称 HDFS ,是一个分布式文件系统(1 ) NameNode ( nn ):存储文件的 元数据 ,如 文件名,文件目录结构,文件属性 (生成时间、副本数、文件权限),以及每个文件的 块列表 和 块所在的 DataNode 等。(2 ) DataNode(dn) :在本地文件系统 存储文件块数据 ,以及 块数据的校验和 。(3 ) Secondary NameNode(2nn) : 每隔一段时间对 NameNode 元数据备份 。简单的说就是NameNode就相当于一个目录,一个索引,负责标记每一个DataNode的存放位置而DataNode才是真正存放数据的, Secondary NameNode(2nn) :相当与老板的一个秘书,他会备份 一部分 数据,不会备份全部数据。1.5.2 YARN 架构概述
Yet Another Resource Negotiator 简称 YARN ,另一种资源协调者,是 Hadoop 的资源管理器。1.5.3 MapReduce 架构概述
MapReduce 将计算过程分为两个阶段: Map 和 Reduce(1 ) Map 阶段并行处理输入数据(2 ) Reduce 阶段对 Map 结果进行汇总
1.5.4 HDFS、YARN、MapReduce 三者关系
HDFS
YARN
用户提交任务,任务给到ResourceManager,ResourceManager 会找一个节点NodeManager,开启一个Container ,把任务(App Mstr)放在Container App Mstr会向
ResourceManager申请说自己需要多少资源 ResourceManager 看哪一个DataNode有资源,给他分配资源 之后 App Mstr 会在被分配的资源节点上开启计算任务(MapTask ),这个其实就是MapReduce 的map阶段,之后会返回一个Reduce到各自对应的节点,这就是他们三者之间的关系
1.6 大数据技术生态体系
图中涉及的技术名词解释如下:
假如说购买一个东西,打开京东首页,购买一个东西,这个购买行为会被记录下来,通过Nginx负载均衡打入到日志收集中,这种用户行为数据通常是用文件形式存储的,然后Flume进行日志收集
采集完之后,给Kafka 进行一个消息的缓冲,缓冲后,由于我们推荐系统具有实时性,所以走
文章浏览阅读166次。基于javascript对geojson数据格式的地图进行astar算法的实践对于geojson数据格式的处理点处理Astar算法主体处理效果分析对于geojson数据格式的处理pp=JSON.parse(pp) //pp为地图数据console.log(pp);var lineObclo=[];var linecooclo=[]for(i=0;i<pp.features.length;i++) { if(pp.features[i].geometry.type=="Line_astar.js 平滑算法
文章浏览阅读1.6k次。How To: Make VirtualBox Use Your Router’s DHCP to get an IP Address in Linuxhttp://r3dux.org/2009/09/how-to-make-virtualbox-use-your-routers-dhcp-to-get-an-ip-address-in-linux/r3dux | Septembe_the first address assigned to ipv6 virtual router must be link-local address.
文章浏览阅读89次。关于ASP.NET中后台数据库和前台的数据控件的绑定问题最近一直在学习个知识点,自己创建了SQLServer数据库表,想在ASP.NET中连接数据库,并把数据库中的数据显示在前台,注意,这里的数据显示不是使用asp.net自带的数据显示控件进行数据的绑定,而是使用开源的数据表格插件DataTables。这样的显示效果要比DataGridView好看的多。下面将详细的过程记录如下,供初...
文章浏览阅读52次。this.caption= caption; this.message= message; this.target = target; this.action = action; this.width = width?width:200; this.height = height?height:120; this.timeout= 150; this.speed = 20; this.step = 1;
文章浏览阅读3.4k次。使用Docker构建并测试Web应用程序使用sinatra作为web框架,redis作为后方的数据库。1.1 创建Sinatra 容器dongli@ubuntu:~/Docker/Sinatra$ cat DockerfileFROM ubuntuMAINTAINER Edgar Li "[email protected]"RUN apt-g_docker sinatra
文章浏览阅读2.1w次,点赞3次,收藏2次。见到下面这种东西,不要觉得烦,仔细听我把问题描述一下:故事背景是这样,我要写一些测试用例,于是有了个 CMakeLists.txt,内容如下:project(UNIT_TEST)cmake_minimum_required(VERSION 2.7)cmake_policy(SET CMP0015 OLD)set(APP_SRC gtest_main.cpp)add_exec_link_directories不起作用
文章浏览阅读227次,点赞4次,收藏4次。本文以SSM为开发技术,实现了一个智慧社区宠物医院。智慧社区宠物医院的主要使用者分为用户、管理员;管理员功能包括有:首页、取消预约、诊疗项目、科室信息、预约信息、问诊单、检查单、就诊信息、药品、药品管理、明星医生、退款信息等功能。通过这些功能模块的设计,基本上实现了整个智慧社区宠物医院 的过程。具体在系统设计上,采用了SSM的结构,后台上采用Mysql数据库,是一个非常优秀的智慧社区宠物医院 。_智慧宠物医院系统
文章浏览阅读575次。1 import java.io.FileReader; 2 import java.io.FileWriter; 3 import java.io.IOException; 4 5 public class CopyFile { 6 public static void main(String[] args) throws IOException { 7 //创建输入流对象 8 FileReader fr=new FileReader("C:\\.._filewriter+filereader
文章浏览阅读1.3k次。标题:承压计算X星球的高科技实验室中整齐地堆放着某批珍贵金属原料。每块金属原料的外形、尺寸完全一致,但重量不同。金属材料被严格地堆放成金字塔形。 7 5 8 7 8 8 9 2 7_蓝桥杯 承压计算 java
文章浏览阅读7.8k次,点赞4次,收藏15次。1. 注册AWS账号需要翻墙,保证翻墙的时候网络稳定。要绑定一张信用卡,没有的话可以去借或者去淘宝租一个,最好自己有。注册完还要短信或者电话认证。2. 添加AWS用户参考网址:如何创建AWS用户3. 安装AWS CLI参考网址:安装AWS CLI安装pip和python选择合适版本的AWS CLI MSI安装(同时安装)验证安装结果C:\> ..._s3://aws-publicdatasets/common-crawl/crawl-002/2010/01/06/10/1262847572760_1
文章浏览阅读49次。有些缺点光靠自己是没法发现的,在自己的眼中我们永远是最完美的。吾日三省吾身,只能发觉一些我自认为的缺点,而真正的缺点只能通过外人指出。旁人在一般情况下,也不会直接指出我的缺点。因为这涉及到别人的处事原则。也只有在别人压抑许久在外物譬如酒精的作用下,才肯说出自己的不满。但这往往会想捅破的窗户纸,关系肯定大不如前。如今我深知我是一个极度自卑的人,没有好看的皮囊,缺乏一定的自信,所以只能通过于比较中,紧紧抓住别的不好的方面来放大通过贬低他人来彰显自己的优越感,这无疑是一个小人之举。为人处世,言行举止,个人品德都值
文章浏览阅读1.2k次,点赞3次,收藏2次。一、简介作用:获取编辑框的最大长度,当输入后文本长度等于最大长度则关闭软键盘。使用场景:手机号,固定位数的密码,验证码二、代码部分工具类 ViewUtil.javapublic class ViewUtil { // 获取编辑框的最大长度,通过反射机制调用隐藏方法 public static int getMaxLength(EditText et) { ..._android 自带数字键盘关闭