关于Windows10下Linux子系统Ubuntu的JDK环境、Hadoop环境配置以及Scala安装中出现的问题_win10子系统ubuntu安装hadoop-程序员宅基地

Windows10下Linux子系统Ubuntu的JDK环境、Hadoop环境配置以及Scala安装中出现的问题

安装前提:
平台:Windows10电脑,预先下载好的Ubuntu子系统,不会下载的见教程:
Windows10使用Linux子系统
这里我使用的是Ubuntu18.04.2

我们要开始学习大数据的相关内容,老师要求我们自行安装好Linux系统下的Scala软件并且配置好它所需要的JDK 环境和Hadoop环境。这里我主要参考了林子雨老师的安装教程,不得不说,林老师的安装教程太太太太太赞了!感谢林老师!

附上林子雨老师的安装链接:spark2.1.0入门:spark的安装与使用
Hadoop安装教程
注:链接的安装教程中老师已经给出他提供的百度网盘资源,包含这次教程所需要的全部安装文件,大家不必费心去找,再次感谢林子雨老师(太感动了)!

选择Windows下Linux子系统的优点:没有虚拟机+Ubuntu镜像文件配置那么繁琐,就Scala的学习还是够用的;

但是据我下载了VirtualBox并且安装完Ubuntu系统的室友说,按照林子雨老师的教程安装这两者也没出现多大问题,想要安装VirtualBox的同学也可一试。

教程中的步骤已经很完备,下面我主要说说我在安装过程中出现的问题:

  1. 关于hadoop用户的创建之后的登陆
    由于Windows下的Ubuntu是没有登陆界面的,所以你可以选择在命令行中输入以下命令:
    su -l hadoop
    接着就会提示让你输入密码,你输入密码即可登陆hadoop用户
  2. 安装ssh(重头戏来了)
    Windows下的Ubuntu系统其实已经默认安装好了老师教程中的openssh-server,因此你在执行完sudo apt-get install openssh-server命令之后,它会出现一段描述,大致意思就是你已经安装过了;接着你输入ssh localhost,发现出现了下面这个问题:
    在这里插入图片描述## 解决方法一:
    不用着急,这可能是你的ssh服务没有打开,再尝试输入命令sudo service ssh start开启ssh服务,顺利的话,可能会出现以下提示:
    在这里插入图片描述再次输入ssh localhost命令,将出现下面界面:
    在这里插入图片描述## 解决方法二:先卸载它自己装的openssh-server,然后按照教程再重新下载一个openssh-server ,接下来都按教程操作;

在这里小编出现了一个疑问:我安装的时候并没有出现ssh首次登陆提示,但我以前从没有登陆过ssh。并且我用hadoop用户第一次登陆的时候也没有出现要输入密码的情况,有点奇奇怪怪……

  1. 安装Java环境时,不知道怎么样把在Windows下下载的jdk解压到Ubuntu中去:(这里我选择的是手动安装的方式)
    解决方法:其实很简单,输入命令cd /mnt(cd与/mnt中间有空格)就可以进入Windows下的目录,然后参考老师给出的命令,即可将jdk解压到Ubuntu的/usr/lib目录中
    用spark的压缩包解压过程来举个例子:(因为我的jdk已经装完了找不到截图了……)
    在这里插入图片描述解压之前,我们先进入你存放jdk文件的那个目录,我的放在D盘,因此我进入/mnt/d中,按照老师给的命令:sudo tar -zxf 要解压的文件的名字 -C 解压后放入的目录路径
  2. 注意:我没有配置ssh自动登陆,因此每次进入hadoop用户登陆ssh之前,我们需要先将ssh服务打开才能进行登陆,如果觉得麻烦可以参考在这里插入图片描述截图来自博客Windows10Linux子系统配置ssh

接下来按照教程,我的spark安装没有出现什么问题,附上spark安装成功之后的运行截图
在这里插入图片描述

室友说,这个spark的LOGO看起来好酷好高级啊!
嘿嘿嘿,我也这么觉得。

花了不少时间的这个环境安装终于安装好啦,开心!Windows下的Ubuntu在我现在这个阶段还是实用的(要是不实用我也感觉不出来)。
有问题请在评论中提出,说不定我们还可以一起讨论一下。
最后首尾呼应一下,再次感谢林子雨老师!我们爱您!

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xiongdan626/article/details/108747068

智能推荐

FTP命令字和返回码_ftp 登录返回230-程序员宅基地

文章浏览阅读3.5k次,点赞2次,收藏13次。为了从FTP服务器下载文件,需要要实现一个简单的FTP客户端。FTP(文件传输协议) 是 TCP/IP 协议组中的应用层协议。FTP协议使用字符串格式命令字,每条命令都是一行字符串,以“\r\n”结尾。客户端发送格式是:命令+空格+参数+"\r\n"的格式服务器返回格式是以:状态码+空格+提示字符串+"\r\n"的格式,代码只要解析状态码就可以了。读写文件需要登陆服务器,特殊用..._ftp 登录返回230

centos7安装rabbitmq3.6.5_centos7 安装rabbitmq3.6.5-程序员宅基地

文章浏览阅读648次。前提:systemctl stop firewalld 关闭防火墙关闭selinux查看getenforce临时关闭setenforce 0永久关闭sed-i'/SELINUX/s/enforcing/disabled/'/etc/selinux/configselinux的三种模式enforcing:强制模式,SELinux 运作中,且已经正确的开始限制..._centos7 安装rabbitmq3.6.5

idea导入android工程,idea怎样导入Android studio 项目?-程序员宅基地

文章浏览阅读5.8k次。满意答案s55f2avsx2017.09.05采纳率:46%等级:12已帮助:5646人新版Android Studio/IntelliJ IDEA可以直接导入eclipse项目,不再推荐使用eclipse导出gradle的方式2启动Android Studio/IntelliJ IDEA,选择 import project3选择eclipse 项目4选择 create project f..._android studio 项目导入idea 看不懂安卓项目

浅谈AI大模型技术:概念、发展和应用_ai大模型应用开发-程序员宅基地

文章浏览阅读860次,点赞2次,收藏6次。AI大模型技术已经在自然语言处理、计算机视觉、多模态交互等领域取得了显著的进展和成果,同时也引发了一系列新的挑战和问题,如数据质量、计算效率、知识可解释性、安全可靠性等。城市运维涉及到多个方面,如交通管理、环境监测、公共安全、社会治理等,它们需要处理和分析大量的多模态数据,如图像、视频、语音、文本等,并根据不同的场景和需求,提供合适的决策和响应。知识搜索有多种形式,如语义搜索、对话搜索、图像搜索、视频搜索等,它们可以根据用户的输入和意图,从海量的数据源中检索出最相关的信息,并以友好的方式呈现给用户。_ai大模型应用开发

非常详细的阻抗测试基础知识_阻抗实部和虚部-程序员宅基地

文章浏览阅读8.2k次,点赞12次,收藏121次。为什么要测量阻抗呢?阻抗能代表什么?阻抗测量的注意事项... ...很多人可能会带着一系列的问题来阅读本文。不管是数字电路工程师还是射频工程师,都在关注各类器件的阻抗,本文非常值得一读。全文13000多字,认真读完大概需要2小时。一、阻抗测试基本概念阻抗定义:阻抗是元器件或电路对周期的交流信号的总的反作用。AC 交流测试信号 (幅度和频率)。包括实部和虚部。​图1 阻抗的定义阻抗是评测电路、元件以及制作元件材料的重要参数。那么什么是阻抗呢?让我们先来看一下阻抗的定义。首先阻抗是一个矢量。通常,阻抗是_阻抗实部和虚部

小学生python游戏编程arcade----基本知识1_arcade语言 like-程序员宅基地

文章浏览阅读955次。前面章节分享试用了pyzero,pygame但随着想增加更丰富的游戏内容,好多还要进行自己编写类,从今天开始解绍一个新的python游戏库arcade模块。通过此次的《连连看》游戏实现,让我对swing的相关知识有了进一步的了解,对java这门语言也有了比以前更深刻的认识。java的一些基本语法,比如数据类型、运算符、程序流程控制和数组等,理解更加透彻。java最核心的核心就是面向对象思想,对于这一个概念,终于悟到了一些。_arcade语言 like

随便推点

【增强版短视频去水印源码】去水印微信小程序+去水印软件源码_去水印机要增强版-程序员宅基地

文章浏览阅读1.1k次。源码简介与安装说明:2021增强版短视频去水印源码 去水印微信小程序源码网站 去水印软件源码安装环境(需要材料):备案域名–服务器安装宝塔-安装 Nginx 或者 Apachephp5.6 以上-安装 sg11 插件小程序已自带解析接口,支持全网主流短视频平台,搭建好了就能用注:接口是公益的,那么多人用解析慢是肯定的,前段和后端源码已经打包,上传服务器之后在配置文件修改数据库密码。然后输入自己的域名,进入后台,创建小程序,输入自己的小程序配置即可安装说明:上传源码,修改data/_去水印机要增强版

verilog进阶语法-触发器原语_fdre #(.init(1'b0) // initial value of register (1-程序员宅基地

文章浏览阅读557次。1. 触发器是FPGA存储数据的基本单元2. 触发器作为时序逻辑的基本元件,官方提供了丰富的配置方式,以适应各种可能的应用场景。_fdre #(.init(1'b0) // initial value of register (1'b0 or 1'b1) ) fdce_osc (

嵌入式面试/笔试C相关总结_嵌入式面试笔试c语言知识点-程序员宅基地

文章浏览阅读560次。本该是不同编译器结果不同,但是尝试了g++ msvc都是先计算c,再计算b,最后得到a+b+c是经过赋值以后的b和c参与计算而不是6。由上表可知,将q复制到p数组可以表示为:*p++=*q++,*优先级高,先取到对应q数组的值,然后两个++都是在后面,该行运算完后执行++。在电脑端编译完后会分为text data bss三种,其中text为可执行程序,data为初始化过的ro+rw变量,bss为未初始化或初始化为0变量。_嵌入式面试笔试c语言知识点

57 Things I've Learned Founding 3 Tech Companies_mature-程序员宅基地

文章浏览阅读2.3k次。57 Things I've Learned Founding 3 Tech CompaniesJason Goldberg, Betashop | Oct. 29, 2010, 1:29 PMI’ve been founding andhelping run techn_mature

一个脚本搞定文件合并去重,大数据处理,可以合并几个G以上的文件_python 超大文本合并-程序员宅基地

文章浏览阅读1.9k次。问题:先讲下需求,有若干个文本文件(txt或者csv文件等),每行代表一条数据,现在希望能合并成 1 个文本文件,且需要去除重复行。分析:一向奉行简单原则,如无必要,绝不复杂。如果数据量不大,那么如下两条命令就可以搞定合并:cat a.txt >> new.txtcat b.txt >> new.txt……去重:cat new...._python 超大文本合并

支付宝小程序iOS端过渡页DFLoadingPageRootController分析_类似支付宝页面过度加载页-程序员宅基地

文章浏览阅读489次。这个过渡页是第一次打开小程序展示的,点击某个小程序前把手机的开发者->network link conditioner->enable & very bad network 就会在停在此页。比如《支付宝运动》这个小程序先看这个类的.h可以看到它继承于DTViewController点击左上角返回的方法- (void)back;#import "DTViewController.h"#import "APBaseLoadingV..._类似支付宝页面过度加载页

推荐文章

热门文章

相关标签