【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

EBS R12基本概念与应用基础-程序员宅基地

文章浏览阅读1.8k次。摘自： [ORACLE EBS 入门及供应链核心系统详解教程] (书籍)EBS基础功能架构（13个核心模块，业财一体化）业务运营管理，价值增值财务会计管理，价值实现应用架构Finance财务，资金流Accounting财务管理Bisuness业务，实物流核心业务，与财务高度集成；PUR、INV、制造、订单履行等间接业务，or专业业务，为核心业务提供支持；HR..._ebs r12

Java中Date和Timestamp的区别_java date timestamp区别-程序员宅基地

文章浏览阅读838次。转载：https://blog.csdn.net/ccecwg/article/details/39546307_java date timestamp区别

如何用原生js封装一个类似jq的选择器_原声js实现jq元素选择器-程序员宅基地

文章浏览阅读1.4k次。1、我们先了解一下原生js中的选择器ID选择器（在整个文档中获取id为xxx的元素）document.getElementId([ID]);类名选择器（在整个文档中或者在指定上下文中获取类名为xxx的元素）document.getElementsByClassName(' ');[context].getElementsByClassName(' ');标签名选择器（在整个文档中或者..._原声js实现jq元素选择器

Hive中partition by和distribute by区别_partition by distribute by-程序员宅基地

文章浏览阅读1.2k次，点赞3次，收藏4次。通常查询时会对整个数据库查询，而这带来了大量的开销，因此引入了partition的概念，在建表的时候通过设置partition的字段, 会根据该字段对数据分区存放，更具体的说是存放在不同的文件夹,这样通过指定设置Partition的字段条件查询时可以减少大量的开销。1）partition by [key..] order by [key..]只能在窗口函数中使用，而distribute by [key...] sort by [key...]在窗口函数和select中都可以使用。_partition by distribute by

游标（cursor ）是什么？_c# cursor-程序员宅基地

文章浏览阅读7.3k次。Private SQL Area A private SQL area holds information about a parsed SQLstatement and other session-specific information for processing. When a serverprocess executes SQL or PL/SQL code, the process_c# cursor

listview使用的一些心得_listview的使用——购物商城实验心得-程序员宅基地

文章浏览阅读616次。近日在用ListView中的一些注意点，和公用代码，整理如下1.ListView.Items.Clear而不是ListView.Clear一般如果ListView是动态填充的，我们在填充之前都会先进行清理。但需要注意一下，我们是清理Items,如果去直接Clear整个ListView，就连原先定义好的列都没有了2.给ListView绑定数据ListView并不能直接_listview的使用——购物商城实验心得

随便推点

java 注解处理器的作用_深入理解Java：注解（Annotation）--注解处理器-程序员宅基地

文章浏览阅读110次。如果没有用来读取注解的方法和工作，那么注解也就不会比注释更有用处了。使用注解的过程中，很重要的一部分就是创建于使用注解处理器。Java SE5扩展了反射机制的API，以帮助程序员快速的构造自定义注解处理器。注解处理器类库(java.lang.reflect.AnnotatedElement)：Java使用Annotation接口来代表程序元素前面的注解，该接口是所有Annotation类型的父接口..._java注解处理器作用

全国职业技能大赛高职组(最新职业院校技能大赛_大数据应用开发2023国赛样题解析-模块C：实时数据处理-任务二：实时指标计算)_大数据 国赛 样题-程序员宅基地

文章浏览阅读1.8k次，点赞27次，收藏28次。全国职业技能大赛高职组(最新职业院校技能大赛_大数据应用开发样题解析-模块B：数据采集-任务一：离线数据采集-程序员宅基地。_大数据 国赛 样题

ssm+mysql+微信小程序疫情防控小程序-计算机毕业设计源码73691_ssm+微信小程序-程序员宅基地

文章浏览阅读926次。本系统分为管理员和注册用户两个角色，主要有疫情新闻、疫情案例介绍、健康信息申报、行程信息申报、就医流程介绍、举报、在线留言、用户管理、信息统计等模块。用户需要先注册成为会员，成功登录后，可以查看网站发布的疫情新闻，可以查看疫情相关病例介绍，有助于疫情防范，还可以查看网站发布的重大疫情案例，了解疫情的发展状况，出行时候好做好防护，同时通过网站可以上报健康信息，以及上报行程信息，方便社区了解自己的出行情况；网站还发布了疫情状态下的就医流程，方便大家就医时候做好准备；同时网站还提供了举报功能，如果发现外来人员或_ssm+微信小程序

Linux 操作系统 022-串口/U盘/共享文件夹-程序员宅基地

文章浏览阅读296次，点赞3次，收藏9次。本节关键字：Linux、centos、串口、U盘、共享文件夹本节相关指令：echo、cat、mkdir、mount

解密C++新特性：内联函数、auto和基于范围的for循环-程序员宅基地

文章浏览阅读1.3k次，点赞45次，收藏29次。本篇主题为： 解密C++新特性：内联函数、auto关键字和基于范围的for循环。

上岸整理：2023前端面试题-vue，小程序，js，css_今年的前端面试难不难-程序员宅基地

文章浏览阅读774次，点赞4次，收藏11次。1、浏览器常见的报错信息与含义2、304与204的区别，http缓存，强缓存，协商缓存3、浏览器从输入地址到渲染，经历了什么状态？4、vue的界面渲染，经过哪些过程（生命周期）5、三次握手，四次挥手6、重排与重绘7、用css实现一个三角形8、常见的flex布局，有哪些功能9、用css实现一个水平垂直居中10、null与undefined的区别11、虚拟dom12、深拷贝与浅拷贝13、es6新增的功能15、async await 与promise。_今年的前端面试难不难

推荐文章

热门文章

相关标签