大家好,我是邵奈一,一个不务正业的程序猿、正儿八经的斜杠青年。
1、这几年,我整理了很多IT技术相关的教程给大家,爱生活、爱分享。
2、博客导航跳转(请收藏):邵奈一的技术博客导航
3、此篇为本博客的导航,遇到问题可以直接在本篇搜索,方便快捷。涉及的技术面比较广,也包括各种解决方案,报错解决等。
4、如果您觉得文章有用,请收藏,转发,评论,并关注我,谢谢!
专栏说明:
D001 复制粘贴玩大数据之集群环境的获取及教程指导
——D001.1 Window7系统上Centos7的安装
——D001.2 Centos7虚拟机NAT网络的配置(windows)
——D001.3 下载XShell教程与简单使用
——D001.4 Centos7创建有root权限的用户、修改主机名与添加ip映射
——D001.5 Docker入门(超级详细基础篇)
——D001.6 Docker搭建Hadoop集群(资源篇)
——D001.7 Docker搭建Hadoop集群(实践篇)
——D001.8 Docker搭建Spark集群(实践篇)
D002 复制粘贴玩大数据之便捷配置
D003 复制粘贴玩大数据之安装与配置Zookeeper集群
D004 复制粘贴玩大数据之Dockerfile安装Zookeeper集群
——D004.1 Dockerfile例子详解及常用指令
D005 复制粘贴玩大数据之安装与配置HBase集群
D006 复制粘贴玩大数据之Dockerfile安装HBase集群
D007 复制粘贴玩大数据之安装与配置Hive
D008 复制粘贴玩大数据之Dockerfile安装Hive集群
D009 复制粘贴玩大数据之安装与配置Flume集群
D010 复制粘贴玩大数据之Dockerfile安装Flume集群
D011 复制粘贴玩大数据之安装与配置Kafka集群
D012 复制粘贴玩大数据之Dockerfile安装Kafka集群
PS:
完成D012,大数据常用组件将装好,教程采用一步一步升级的模式,如果有基础,可以直接操作D012篇!
非Docker安装的文章,一样适用于常规的安装,且与Docker方式做对比。
1、浅显易懂入门大数据系列:一、HDFS(超详细)
2、浅显易懂入门大数据系列:二、MapReduce、YARN(超详细)
3、浅显易懂入门大数据系列:三、Zookeeper(超详细)
4、浅显易懂入门大数据系列:四、HBase(超详细)
1、【邵奈一】Python爬虫专栏(一)之Python爬虫热身
2、【邵奈一】Python爬虫专栏(二)之Selenium初体验
3、【邵奈一】Python爬虫专栏(三)之自动登录
PS:学习完本模块,应该具有Linux基础知识、Java SE基础以及会编写简单的Shell脚本。
1、分布式集群环境之域名映射与免密码登录
2、分布式集群环境之JDK8的安装与配置(Centos7)
3、Hadoop核心组件之HDFS的安装与配置
4、Java API实现HDFS的相关操作
5、YARN与MapReduce的配置与使用
6、MapReduce入门例子之WordCount单词计数
7、MapReduce编程例子之Combiner与Partitioner
8、查看YARN上应用的日志之JobHistory
9、IntelliJ IDEA实现Hadoop读写HDFS文件(非Maven、离线版)
10、MapReduce作业在YARN的内存分配设置
11、HDFS的高可用性HA配置实战
12、HDFS恢复非HA状态
13、YARN的高可用性HA配置实战
14、Java的序列化与反序列化实操
15、Hadoop的序列化与反序列化实操
16、Hadoop压缩机制及实操
17、Hadoop支持的文件格式之Text
18、Hadoop支持的文件格式之Avro
19、Hadoop支持的文件格式之Parquet
20、Hadoop支持的文件格式之SequenceFile
21、Windows本地安装Hadoop
22、通过CombineTextInputFormat实现小文件优化(调优技能)
23、通过SequenceFile实现合并小文件(调优技能)
24、使用Eclipse完成WordCount案例(Windows本地运行)
作业案例:
MapReduce基础编程之按日期统计及按日期排序
基于Hadoop分布式存储的网盘系统实现(简易粗糙版)
项目案例:
大数据日志分析系统背景及架构
大数据日志分析Hadoop项目实战
1、D003 复制粘贴玩大数据之安装与配置Zookeeper集群
2、Zookeeper之zkCli.sh客户端的使用
1、D005 复制粘贴玩大数据之安装与配置HBase集群
2、在HDFS的HA模式下配置HBase
1、分布式集群环境之Scala的安装与配置(Centos7)
2、IntelliJ IDEA开发Spark案例之WordCount
3、分布式集群环境之Spark的安装与配置(Centos7)
4、IntelliJ IDEA开发Spark案例之WordCount(非Maven、离线版)
5、Scala入门教程
6、Spark Shell入门教程
7、Spark RDD的实操教程(一)
8、Spark RDD的实操教程(二)
9、Spark RDD高级应用(传参、闭包、共享变量)
10、Spark RDD算子进阶(转换算子、行动算子、缓存、持久化)
11、Spark SQL快速入门(基础)
12、Spark SQL快速入门(进阶)
13、Spark Streaming 快速入门(理论)
14、Spark Streaming 快速入门(实操)
15、Spark GraphX 快速入门
项目案例:
Spark综合小案例之莎士比亚诗文集词频统计
项目实战:飞机延误预测项目
1、D009 复制粘贴玩大数据之安装与配置Flume集群
2、Flume入门案例之NetCat-Souces
3、Flume+Kafka+Storm实战:二、Flume整合Kafka
1、D011 复制粘贴玩大数据之安装与配置Kafka集群
2、分布式消息队列Kafka理论(浅显易懂)
3、分布式消息队列Kafka之发布订阅消息系统
4、Kafka的安装及发布订阅消息系统(windows)
1、Storm第一个入门例子之Wordcount(windows本地)
2、实时流处理框架之Storm的安装与部署
3、Flume+Kafka+Storm实战:一、Kakfa与Storm整合
1、Flume、Kafka、Storm实时流综合案例实战
Flume+Kafka+Storm实战:一、Kakfa与Storm整合
Flume+Kafka+Storm实战:二、Flume与Kafka整合
1、机器学习入门案例(1)之使用线性回归预测房价
2、机器学习入门案例(2)之使用逻辑回归预测房子是否能被租出去
3、机器学习入门案例(3)之使用决策树预测是否适合打网球
4、大数据HCIE成神之路之数学(1)——基础数学
5、大数据HCIE成神之路之数学(2)——线性代数
6、大数据HCIE成神之路之数学(3)——概率论
7、大数据HCIE成神之路之数学(4)——最优化实验
2、会话切割小案例
网站用户行为分析项目之会话切割(一)
网站用户行为分析项目之会话切割(二)
网站用户行为分析项目之会话切割(三)
网站用户行为分析项目之会话切割(四)=> 代码重构
网站用户行为分析项目之会话切割(五)=> 切割会话代码重构
网站用户行为分析项目之会话切割(六)=> 参数配置化
1、安装与配置
Elasticsearch的安装(windows)
多功能集装箱Zeppelin框架的安装与配置
数据迁移的工具Sqoop的安装与配置
jdk8的安装(windows)
Maven的安装与设置
IDEA2018安装与配置
Mysql的安装与配置(Centos7)
安装并启动Tomcat 8(Mac版本)
Python3的安装(Windows)
基于XShell实现Win与Linux文件传输(替换XFtp等)
脚本实现一键安装JDK
Sqoop1的安装配置及入门案例
VirtualBox安装教程及使用(Windows)
IntelliJ IDEA编写Scala代码(安装Scala插件)
Octotree谷歌浏览器插件
Redis的安装与配置(Windows版本)
Nacos的下载安装与配置注册中心(Windows)
Nacos配置中心实战
VNC的安装与使用(Windows远程连接Centos7)
Python3的安装与部署(Linux版本)
MongoDB的安装与配置(简单版本、Win7)
2、实战操作
Elasticsearch实现中文分词
使用Sqoop导出Mysql数据到Hive(实战案例)
Python模拟日志生成
Python第一个爬虫项目
3、经典理论
Hadoop 十年解读与发展预测(插图+排版)
Vue2.x最简单的两个入门例子
Vue2.x案例之商品增删改查的实现
Vue2.x案例之计划清单的实现
Bootstrap全局css样式的使用
Node版本管理工具nvm的安装与使用(windows)
JavaScript正则表达式轻松入门
前端开发神器Sublime3的安装及配置(Mac系统)
前端开发神器HBuilder的安装与使用(mac版本)
Java实现本地读写文件
Python第一个爬虫项目
Java的序列化与反序列化实操
Scala常规操作之数组、List、Tuple、Set、Map
开发Java Web项目基础储备
Swagger的使用(第一个案例)
Java API 操作Docker示例
Springboot + Validation整合校验教程
SpringBoot + JSP 实现增删改查
SpringMVC详解(五)------参数绑定
JavaWeb项目如何配置Servlet
使用JSP+Servlet+MySQL实现登录注册功能【详细代码】
Java访问数据库系列(五篇):
1、JDBC连接MySQL数据库(一)
2、JDBC连接MySQL数据库(二)
3、JDBC实现MySQL数据库的增删改查
4、Spring之Bean的依赖注入(基于XML)
5、使用JdbcTemplate对MySQL数据库进行增删改查
SpringBoot+Thymeleaf+ECharts实现大数据可视化(基础篇)
SpringBoot+JSON+AJAX+ECharts+Fiddler实现前后端分离开发可视化(进阶篇)
IDEA实现热部署前端界面(Tomcat、IDEA)
使用SSM+Vue前后端分离开发实现增删改查(超详细)
阿里云域名购买与DNS解析教程
Nginx的安装与配置(Centos7、云服务器版)
阿里云服务器域名备案
使用Nginx发布前端源码
华为云计算FusionCompute虚拟化平台的安装与设置
华为云服务器入门初体验
KVM虚拟化技术(一)之环境部署
KVM虚拟化技术(二)之创建虚拟机(命令行方式)
KVM虚拟化技术(三)之克隆虚拟机
Git安装与配置(mac版本)
使用Git将代码提交到码云
如何使用Git暂存文件再恢复
IDEA的使用及常用配置(JDK、Maven等)
IDEA实现Java与Scala代码混合开发
Typera+Node.js+Git搭建托管于远端的写作平台(GitBook)
Spring Boot项目实现热部署
配置IDEA识别 vue 文件
设置IDEA的 Terminal 使用 git bash
IDEA之自定义快捷编程代码(代码模板)
IDEA字节码学习查看插件的使用
我想躺着、趴着敲代码
Eclipse安装使用初始化工作事项
IDEA 导入多模块项目并设置运行
一、IDEA入门到精通系列
大数据培训课程思路
邵奈一的技术博客导航
Mac系统使用小指南(从Win工作台转向Mac工作台)
邵奈一是谁
【邵奈一】大数据集群环境使用指南
Web课程导学
如何入门大数据之基础准备(一)(超级详细介绍)
报错:其中一个为datanode无法启动,ERROR org.apache.hadoop.hdfs.server.datanode.DataNode
报错:Incorrect datetime value: ‘0000-00-00 00:00:00’ for column ‘login_time’ at row 1
报错:java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.re
报错:org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for mySecondTopic-2:
报错:[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregat
报错:java.sql.SQLNonTransientConnectionException: Could not create connection to database server
报错:跨域问题解决 No ‘Access-Control-Allow-Origin‘ header is present on the requested resource.
报错:Git上传代码报错 will not add file alias already exists in index
上传文件到OSS报错:[Server]Unable to execute HTTP request: Position is not equal to file length
Vue报错:error Elements in iteration expect to have ‘v-bind:key‘ directives vue/require-v-for-key
报错:Web server failed to start. Port 9002 was already in use.端口被占用解决(Windows)
报错:Caused by: java.lang.IllegalArgumentException: Could not resolve placeholder ‘oss.ossDomain‘
报错解决:your local changes to the following files would be overwritten by merge: .idea/workspa
报错解决:java.lang.Exception: Method testGetNickNameById should have no parameters_邵奈一的博客-程序员宅基地
问题解决:IDEA没有新建Spring Boot项目选项_邵奈一的博客-程序员宅基地_idea新建项目没有springboot
报错:ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)_邵奈一的博客-程序员宅基地
报错解决:Correct the classpath of your application so that it contains compatible versions of the
错误解决:HBase执行程序报Exception in thread “main“ java.lang.NoClassDefFoundError
报错解决:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestE
使用RPM安装MySQL8.0.30报错:mariadb-libs is obsoleted by mysql-community-libs-8.0.30-1.el7.x86_64
错误解决:hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Kettle执行报错:DOS format was specified but only a single line feed character was found, not 2
使用beeline的方式连接Hive报错: User: root is not allowed to impersonate anonymous (state=08S01,code=0)
Hive3自定义UDF函数报错解决: (class file version 55.0), this version of the Java Runtime only recognizes class
Sqoop报错:ERROR Could not register mbeans java.security.AccessControlExceptio
Hive报错ERROR tool.ImportTool: Import failed: java.io.IOException: Hive CliDriver exited with status=1
HBase shell报错:ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running
HBase API 操作报错:java.nio.channels.ClosedChannelException: null
HBase API操作报错:Caused by: org.apache.hbase.thirdparty.io.netty.channel.ConnectTimeoutException: conne
报错解决:Caused by: org.apache.ibatis.type.TypeException: Could not resolve type alias ‘User‘.
报错解决:MySQLIntegrityConstraintViolationException: Duplicate entry ‘0‘ for key ‘PRI
启动HDFS报错:shaonaiyi-mac.local: ERROR: Cannot set priority of namenode process 2914
Mac系统中那些大数据的小小解决方法
技巧:Windows自定义运行命令
IDEA 性能优化与设置
问题解决:如何将IDEA不小心拖出来的output窗口还原回去
问题解决:IDEA中Tomcat控制台出现中文乱码
问题解决:MapReduce输出结果乱码(Eclipse)
配置Sqoop1.4.7支持Hadoop3
鸿蒙开发初体验以及遇到的几点坑
拿到别人写的Java项目需要做的几件事情
拿到别人提供的虚拟机需要做的几件事情
未完待续…
1、Apache版本的软件(我们的教程所使用):
Java:1.8
Hadoop:2.7.5(https://archive.apache.org/dist/hadoop/common/)
Zookeeper:3.4.10(https://archive.apache.org/dist/zookeeper/)
Scala: 2.11.8 / 2.10.4
Spark:2.2.0(https://archive.apache.org/dist/spark/)
Flume:1.6.0(https://archive.apache.org/dist/flume/)
Kafka:1.0.0(https://archive.apache.org/dist/kafka/)
HBase:1.2.6(http://archive.apache.org/dist/hbase/)
Solr:7.1.0(https://archive.apache.org/dist/lucene/solr/)
Hive:2.3.3(https://archive.apache.org/dist/hive/)
Sqoop:1.4.7(https://archive.apache.org/dist/sqoop/)
2、实际生产上用的是CDH版本:
CDH版本:https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_download.html
2015年:CDH5.3.0
2016年:CDH5.6.0
2017年:CDH5.7.6
对应版本CDH中各个组件的版本:
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball.html
3、具体对于什么是CDH,请自行搜索了解:CDH & Cloudera Manager
作者简介:邵奈一
全栈工程师、市场洞察者、专栏编辑
| 公众号 | 微信 | 微博 | CSDN | 简书 |
福利:
邵奈一的技术博客导航
邵奈一 原创不易,如转载请标明出处。
文章浏览阅读1.5w次,点赞7次,收藏50次。1 什么是TIFF?TIFF是Tagged Image File Format的缩写。在现在的标准中,只有TIFF存在, 其他的提法已经舍弃不用了。做为一种标记语言,TIFF与其他文件格式最大的不同在于除了图像数据,它还可以记录很多图像的其他信息。它记录图像数据的方式也比较灵活, 理论上来说, 任何其他的图像格式都能为TIFF所用, 嵌入到TIFF里面。比如JPEG, Lossless JPE..._tiff有多少万幅
文章浏览阅读295次。1、减少请求数量【合并】如果不进行文件合并,有如下3个隐患1、文件与文件之间有插入的上行请求,增加了N-1个网络延迟2、受丢包问题影响更严重3、经过代理服务器时可能会被断开但是,文件合并本身也有自己的问题1、首屏渲染问题2、缓存失效问题所以,对于文件合并,有如下改进建议1、公共库合并2、不同页面单独合并【图片处理】1、雪碧图CSS雪碧图是以前非常流行的技术,把网站上的一些图片整合到一张单独的图片中,可以减少网站的HTTP请求数量,但是当整合图片比较大时,一次加载比较慢。随着字体图_页面首屏渲染性能优化方案有哪些
文章浏览阅读684次。发表时间:2010-09-07 > 猎头职位: 上海:Senior Software Engineer Java综合 mongodb由C++写就,其名字来自humongous这个单词的中间部分,从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为:scalable, high-performance, open source, sche
文章浏览阅读1k次。编辑 |kou刘皇叔翻出族谱,追溯整整十八代,才证明自己为汉室如果那时已有区块链技术,又会怎样?福利福利!本文节选自《区块链轻松上手——原理、源码、搭建与应用》文末免..._济川侯刘惠
文章浏览阅读3.4k次,点赞2次,收藏2次。--创建wm_concat函数CREATE OR REPLACE TYPE WM_CONCAT_IMPLAUTHID CURRENT_USER AS OBJECT( CURR_STR CLOB,--VARCHAR2(32767), STATIC FUNCTION ODCIAGGREGATEINITIALIZE(SCTX IN OUT WM_CONCAT_IMPL)_oracle9中wm_concat函数源码
文章浏览阅读2.2w次,点赞34次,收藏76次。题型:解析:首先要理解什么是二叉树?什么是有序二叉树?二叉树(binary tree)是指树中节点的度不大于2的有序树,它是一种最简单且最重要的树。二叉树的递归定义为:二叉树是一棵空树,或者是一棵由一个根节点和两棵互不相交的,分别称作根的左子树和右子树组成的非空树;左子树和右子树又同样都是二叉树。有序二叉树,就是左子树上的数值小于树根上的值,树根的值小于右子树的值。到这里理解清楚有序二叉树后就能快速的解决此类题目了。根据题目中的二叉树图可知,①根节点为23,因此就可以排除选项中不.._关键码序列
文章浏览阅读1.3w次,点赞7次,收藏63次。C -V 特性曲线即是测量栅端输入电容跟栅电压的关系。考虑电容特性:AC下Iac/Vac=2πfC ,如果令交流电压Vac =1V,选择频率 f (0.16 Hz)使得 2πf=1rad/s ,这时候得到的交流电流就是电容值。进行AC设置,设置好工作频率,对栅极偏压vg进行扫描,从-1V~1V之间。ac仿真结束后,将探针0电流取值到计算器当中: 同样的,将探针1..._nmos电容随栅源电压变化曲线
文章浏览阅读3.1w次,点赞11次,收藏23次。安装过程耗时两天,终于修成正果。先列出最后成功的安装命令:(我的python版本3.6)conda install pytorch-cpu=0.3.1 conda install torchvision-cpu过程如下:anaconda我已经下载安装好了的,这个倒是很顺利,后面就是安装pytorch折腾了很久。先是使用下载好的pytorch-cpu压缩包进行..._no module named 'torchsummary' 镜像安装
文章浏览阅读2.7k次,点赞3次,收藏7次。目的在相关的场景下,FMEA-MSR的失效分析旨在说明导致最终影响的事件链。MEA-MSR失效分析的主要目标:● 建立失效链● 失效起因、监视、系统响应、减轻的失效影响● 使用参数图或失效网识别产品失效起因● 顾客与供应商之间的协作(失效影响)● FMEA表格中失效文件化和风险分析步骤的基础(点击链接进入官网领取软件试用)失效场景失效场景由相关操作条件的描述组成,在这些条件中,故障导致错误。行为并且可能导致最终系统状态(失效影响)的事件序列(系统状态)。它的起点为确定的失效起因,而其_失效链、失效网
文章浏览阅读697次。第一步:新建两个Joystick,分别改名LeftJoyStick和RightJoyStick在LeftJoyStick的ETC Joystick-Axes properties中的Horizontal axis-General setting中将要控制的人物Player拖入框中,action选translate,Affected action选 X到现在位置,就可以通过左摇..._easytouch 控制物体移动旋转
文章浏览阅读7k次,点赞11次,收藏70次。文章目录一、PWM相关1、PWM是什么2、PWM原理3、PWM应用4、PWM信号输出二、实验相关1、实验要求2、实验环境3、实验结果2、用STM32F103的DAC功能完成以下波形输出,用示波器观察波形,并用蜂鸣器或手机耳机收听输出声音效果、感受歌曲的音质差异。1)输出一个周期2khz的正弦波(循环)。此波形驱动作用至蜂鸣器或喇叭,会呈现一个“滴…”的单音;2)将一段数字音频歌曲数据转换为模拟音频波形输出(循环)。提示:首先用音频制作工具制作一段数字化的2khz正弦波wav文件、转换一首你喜欢的歌曲_基于stm32的推箱子输出波形数据
文章浏览阅读2.2k次。原文:http://www.sencha.com/forum/showthread.php?205564-Ext-JS-4.1.1-RC1-Now-AvailableWe are pleased to announce today the availability of Ext JS 4.1.1 RC1.http://cdn.sencha.io/ext-4.1.1-rc1.zipOf partic_getvisibleheaderclosest.toindex()