hadoop-伪分布式开发环境_DA-f的博客-程序员ITS203

技术标签: 大数据分布式计算  

配置这个环境,我一共安装了三次虚拟机(qwq),第一次按照老师的做法做,但初始化了太多次NameNode没跳出来。第二次NamNode启动了,一切都正常,但是关机后再也进不去了,输入密码后又重新要求我登录。来到了第三次,顺利完成
我安装配置的过程主要的问题以及解决方法:

  1. FileZilla连接错误(打开“站点服务器”,设置“主动”的传输设置)
  2. NameNode不显示(一定是代码哪里出错了!回头检查)
  3. 虚拟机登录后重新返回登录界面(网上有解决方法,但是尝试了很多无效最后重装了)
  4. web界面无法显示(是否关闭防火墙、检查yarn文件是否有误)
  5. “jps:未找到命令”(检查"/etc/profile"并且source /etc/profile

下面是我的安装配置过程

1、打包解压hadoop、jdk

1、利用ifconfig查看本机ip后,使用FileZilla连接虚拟机传送文件
2、本机下载文件

# 打包文件
tar -cvf 打包文件.tar 被打包的文件/路径
# 解包文件
tar -xvf 打包文件.tar
# 解压Hadoop、jdk源文件
# 可以将当前文件下的安装包解压到当前文件夹下
tar -zxcf hadoop-2.7.1_64bit.tar.gz -C ./
tar -axvf jdk-8u65-linux-x64.tar.gz -C ./

关闭开启图形界面

init 3 关闭 
init 5 开启

2、关闭防火墙

防火墙关闭后才可以打开网页

systemctl status firewalld            # 查看防火墙的服务状态
systemctl stop firewalld.service      # 停止firewall
systemctl disable firewalld.service   # 禁止firewall开机启动

3、配置主机名、Hosts

安装hadoop的集群主机名不能有下划线!不然会找不到主机!无法启动!
配置主机名

sudo vi /etc/sysconfig/network
source /etc/sysconfig/network

# 配置内容如下:(HOSTNAME为我们的集群主机名)
# Created by anaconda
NERWORKING=yes
HOSTNAME=hadoop1

配置Hosts

sudo vi /etc/hosts

# 配置内容如下:(末行加入ip和主机名)
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.133 hadoop1

4、修改环境变量、配置文件

** 环境变量**

[[email protected] sbin]$ sudo vi /etc/profile

# 以下为配置内容
unset i
unset -f pathmunge
export JAVA_HOME=/home/hadoop1/App/jdk
export HADOOP_HOME=/home/hadoop1/App/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

配置文件
进入hadoop安装包下etc中hadoop文件夹cd etc/hadoop通过vim修改以下内容
在这里插入图片描述
(1) hadoop-env.sh
修改hadoop-env.sh中JAVA_HOME把export JAVA_HOME=${JAVA_HOME}修改成具体的路径
重新加载source hadoop-env.sh使修改生效
在这里插入图片描述

(2) core-site.xml
增加namenode配置、文件存储位置配置

# 以下为配置内容,替换原来的configuration
<configuration>
       <property>
      		<!--用来指定hdfs的老大,namenode的地址-->
              <name>fs.defaultFS</name>
              <value>hdfs://hadoop01:9000</value>
       </property>
       <property>
      		<!--用来指定hadoop运行时产生文件的存放目录-->	
              <name>hadoop.tmp.dir</name> 
              <value>/home/park/work/hadoop-2.5.2/tmp</value>
       </property>
</configuration>

(3) hdfs-site.xml

配置包括自身在内的备份副本数量。

<configuration>
       <property>
       	<!--指定hdfs保存数据副本的数量,包括自己,默认为3-->
       	<!--伪分布式模式,此值必须为1-->
              <name>dfs.replication</name> 
              <value>1</value>
       </property>
</configuration>

(4) mapred-site.xml
说明:在/etc/hadoop的目录下,只有一个mapred-site.xml.template文件,复制一个
cp mapred-site.xml.template mapred-site.xml

<configuration>
       <property>  
       	<!--指定mapreduce运行在yarn上-->
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
</configuration>

(5)修改 yarn-site.xml
通过vim打开

<configuration>
       <property>
		<!--指定yarn的老大resourcemanager的地址-->
              <name>yarn.resourcemanager.hostname</name>
              <value>hadoop01</value>
       </property>
       <property>
		<!--NodeManager获取数据的方式-->
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
       </property>
</configuration>

namenode初始化

hadoop namenode -format               # 格式化法一
hdfs namenode -format                 # 初始化法二(推荐后者)

运行结果
在这里插入图片描述
看到Storage directory directory /root/desktop/hadoop 以及Exiting with stutus就说明成功了

参考资料:
https://blog.csdn.net/S_clifftop/article/details/77337839
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/name_job/article/details/104851141

智能推荐

SSH+Putty+Xming来远程显示图形界面_鱼一一的博客-程序员ITS203

参照:SSH+Putty+Xming搭建远程操作环境https://blog.csdn.net/qq_43066145/article/details/94728828通过SSH -q -X来远程打开连接显示图形界面https://blog.csdn.net/xxradon/article/details/86636340windows 端1.安装Xming和PuttyXming 下载安装https://www.jianshu.com/p/25b8ffb5d035Putty 下载安装ht

Vue整合ElementUI_Keeling1720的博客-程序员ITS203_vue整合elementui

Vue整合ElementUI首先说一个事儿,要用ElementUI,最好是用Vue的脚手架先搭建好项目再用,如果直接在HTML中通过导入在线的vue、axios、elementUI的依赖,然后直接用的话。。。。会很麻烦,而且布局可能也会跟官网给你的不太一样。(这雷我先踩了,不信的小伙伴也大可以自己去试一下,毕竟也有可能是本人智力问题嘿嘿嘿)ok,废话不多说,我们直接从vue怎么整合ElementUI说起。首先,我们通过vue-cli创建我们Vue的脚手架。(不知道怎么下载vue-cli和搭建的,可以看

配置oracle网络连接,Oracle网络连接配置方法_Lichel Xu的博客-程序员ITS203

========================================================================================================监听器是用于监听客户端向数据库服务器端而提出的一种连接请求的网络服务。本文就Oracle网络监听配置做详细描述。本地服务名(Tnsname)ORACLE客户端与服务器端的连接是通过客户端发出连...

KETTLE 入门 (ETL) - 数据抽取工具 (新手 教程)_超级英雄吉姆的博客-程序员ITS203_etl数据抽取方案

最近在使用kettle这个工具,如果你看到我这篇文章,那么你一定是寻找相关工具或者正在使用,而本文的适用对象是使用此工具的新手或者想了解一些关于kettle的人群,如果你对此工具应用比较熟练,发现文章中的错误请告知我,我会尽快修改避免误导他人,感谢你的建议和阅读软件的安装:http://mirror.bit.edu.cn/pentaho/Data%20Integration/通...

任意四面体的外接球的半径(克列尔(A.L.Crelle)公式)_icn007的博客-程序员ITS203_任意四面体外接球半径的计算公式

【问题提出】克列尔(A.L.Crelle)公式对任意四面体ABCD" role="presentation">ABCDABCDABCD,其体积V" role="presentation">VVV和外接球半径R" role="presentation">RRR满足6RV=p(p&#x2212;aa1)(p&#x2212;bb1)(p&#x2212;cc1)." role="presentatio

Android的ram_console和last_kmsg_微笑明明的博客-程序员ITS203

ram_console和last_kmsg是Android加入到kernel中的一个Debug功能。实现:      android要求平台提供一块固定的内存,作为ram_console的存储空间。然后通过“代码:register_console(&ram_console);”,将ram_console注册到printk输出的console_list中去,所以printk会时时向r

随便推点

Python--文件上传到FTP服务器-- ftplib 模块_"淡淡的忧伤"的博客-程序员ITS203_python上传文件到ftp

上传文件到FTP服务器环境:pycharm + ftplib + ftp服务器说明:把本地电脑配置信息文本文档(txt文件)上传到服务器。ftplib 模块 函数含义:from ftplib import FTP #加载ftp模块ftp=FTP() #设置变量ftp.set_debuglevel(2) ...

Android 中自定义控件和属性(attr.xml,declare-styleable,TypedArray)的方法和使用 一_iteye_2886的博客-程序员ITS203

[size=medium]在xml 文件里定义控件的属性,我们已经习惯了android:attrs=&quot;&quot; ,那么我们能不能定义自己的属性能,比如:test:attrs=&quot;&quot; 呢?答案是肯定的.进入主题。大致以下步骤:一、 在res/values 文件下定义一个attrs.xml 文件.代码如下: ...

官方文档翻译-ESP32-SPI Flash_luck_horse的博客-程序员ITS203

SPI Flash概述The spi_flash component contains APIs related to reading, writing, erasing, memory mapping data in the external SPI flash. It also has higher-level APIs which work with partitions defin...

PAT甲级练习题A1004. Counting Leaves_柯森锎的博客-程序员ITS203

题目描述A family hierarchy is usually presented by a pedigree tree. Your job is to count those family members who have no child. InputEach input file contains one test case. Each case starts with a line c

4种单片机驱动继电器方案_ndthome的博客-程序员ITS203_单片机驱动继电器

在网上论坛看到一个贴子收集的,供大家参考方案一:三极管驱动方案二:ULN2003驱动方案三:光耦+三极管驱动方案四:光耦+ULN2003驱动

Ubuntu20.04 下搭建Kubernetes集群--k8s部署_0x8g1T9E的博客-程序员ITS203

1. 关闭swap并关闭防火墙首先,我们需要先关闭swap和防火墙,否则在安装Kubernetes时会导致不成功:# 临时关闭swapoff -a# 编辑/etc/fstab,注释掉包含swap的那一行即可,重启后可永久关闭ufw disable2.配置阿里源sudo echo "deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main" &gt; /etc/apt/sources.list...

推荐文章

热门文章

相关标签