技术标签： hdfs
HDFS全称 Hadoop Distribute File System 即 Hadoop分布式文件系统
即存储海量数据
为什么能存储海量数据？？
因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展
管理者-Master NameNode 集群中有1~2个，用于管理集群中的工作者
工作者-Slave DateNode 集群中有多个，正真存储和计算数据组件
辅助管理 SecondaryNameNode 辅助管理者工作
以数据块的方式存储数据。默认一个数据块128M，该数值可以修改
注意：这里的128仅仅是切分数据的阈值。
一个大的数据被切分成多个小的128的数据块，分别存储在集群多个节点的不同位置。
数据副本默认是3份。
一个数据存储到HDFS后，数据自动复制两份，共三份（三分相同的数据-数据冗余）
第一个副本在客户端所在的节点（客户端也是集群内的节点），若客户端在集群外，那么根据一定的计算规则选一个节点
第二份副本，在与第一份相同机柜，且不在同一个服务器的节点上。
第三份与第一份第二份不在同一个机柜，且逻辑距离（网络拓扑）最近的机柜选择一个节点存储
1.维护目录树，维护命名空间。
2.负责确定指定的文件块到具体的Datanode节点的映射关系。（在客户端与Datanode之间共享数据）
3、管理Datanode结点的状态报告
1、 负责管理它所在结点上存储的数据的读写，及存储数据。.
2、 向Namenode结点报告DataNode节点的状态。
3、 通过流水线复制实现三份数据副本。
文章浏览阅读438次，点赞11次，收藏13次。摘要：开篇之前，首先说一下，博主曾经也只是尘世间一个迷途小开发，二流程序员。可能这篇文章并不像其他面经一样金光闪闪，只是一个二流Android攻城狮在市场的大潮之下，用一个月时间面试+复习+总结，最终在2020的年尾拿到了自己喜欢公司offer(字节跳动Android开发岗，薪资也涨了40%多，对我来说已经很满意了)的故事。出来社会摸爬滚打三年多，不得不承认人是分三六九等的。即便是专注度、努力这些颇为客观的因素，也是因人而异的。说下我的个人背景吧：双非本科，计算机专业。工作三年，都是小厂，小组最_android入职offer
文章浏览阅读286次。如果使用的是 Vue Router，需要在 addRoutes 完成后手动调用 router.addRoutes(routes) 来更新路由表。总之，将服务端返回的路由信息添加到路由表或者路由器中是一个比较通用的场景，在具体实现时需要根据自己的业务需求进行定制化开发。在客户端代码中，使用路由器的 addRoutes 方法将新解析出来的路由表添加到已有的路由表中。当用户访问新增加的路由时，Vue Router 会按照路由表中的配置进行路由匹配和跳转。_动态添加完路由怎么刷新到路由表里
文章浏览阅读8.4k次，点赞12次，收藏66次。一、dd命令介绍dd：用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。注意：指定数字的地方若以下列字符结尾，则乘以相应的数字：b=512；c=1；k=1024；w=2参数注释：if=文件名：输入文件名，缺省为标准输入。即指定源文件。< if=input file >of=文件名：输出文件名，缺省为标准输出。即指定目的文件。< of=output file >ibs=bytes：一次读入bytes个字节，即指定一个块大小为bytes个字节。obs_dd命令
文章浏览阅读1w次。安装linux虚拟机过程中卡在了mount: block device /dev/sr0 is write-protected, mounting read-only不继续执行；解决办法：在新建虚拟机的时候，选择稍后安装操作系统 安装完成后，再在编辑虚拟机设置中选择iso文件_vmware16 安装centos7 mount:/dev/sr0 is write-protected, mounting read-only
文章浏览阅读284次。面试题：synchronized与Lock的区别synchronized是关键字，而Lock是一个接口。synchronized会自动释放锁，而Lock必须手动释放锁。synchronized是不可中断的，Lock可以中断也可以不中断。通过Lock可以知道线程有没有拿到锁，而synchronized不能。synchronized能锁住方法和代码块，而Lock只能锁住代码块。Lock可以使用读锁提高多线程读效率。synchronized是非公平锁，ReentrantLock可以控制是否是公平锁_synchronized和lock锁的区别 面试
文章浏览阅读5w次，点赞64次，收藏230次。面向于python学习路上的小白学习如何安装python环境_python环境安装
文章浏览阅读181次。工欲善其事必先利其器，一个好的工具能让起到事半功倍的效果，Python社区提供了足够多的优秀工具来帮助开发者更方便的实现某些想法，下面这几个工具给我的工作也带来了很多便利，推荐给追求美好事物的你。Python TutorPython Tutor 是由 Philip Guo 开发的一个免费教育工具，可帮助学生攻克编程学习中的基础障碍，理解每一行源代码在程序执行时在计算机中的过程。通过这个工具，教师或..._python 最强工具
文章浏览阅读296次。001-pytest内核测试平台落地初体验本文介绍了我第一次做的测试平台的使用和原理，技术栈为Vue+Django+Django REST Framework+JWT+MySQL+pyte..._teprunner平台j介绍
文章浏览阅读3.7w次，点赞3次，收藏17次。题目要求：从顺序表中删除具有最小值的元素（假设唯一）并由函数返回被删除的元素的值。空出的位置由最后一个元素填补，若顺序表为空则显示错误信息并退出/*从顺序表中删除具有最小值的元素（假设唯一）并由函数返回被删除的元素的值。空出的位置由最后一个元素填补，若顺序表为空则显示错误信息并退出*/#include <iostream>#include <cstring>..._王道从顺序表中删除具有最小值的元素(假设唯一)
文章浏览阅读3w次，点赞206次，收藏369次。文章目录0.前言1.思维导图2.Student/SC/Course表数据及结构3.SELECT语句的一般格式4.单表查询（1）选择表中的若干列① 查询指定列② 查询全部列③ 查询经过计算的值❶ 算术表达式❷ 字符串常量及函数❸ 使用列别名改变查询结果的列标题（2）选择表中的若干元组（行）① 关键词DISTINCT去掉表中重复的行② 查询满足条件的元组（行）❶ 比较大小❷ 确定范围❸ 确定集合❹ 字..._种单表查询、分组统计查询和连接查询、嵌套查询合和集 合查询
文章浏览阅读445次，点赞13次，收藏8次。ABAP创建修改物料主数据BAPI_MATERIAL_SAVEDATA报错计量单位******未定义 (请检查你的输入)_abap 物料修改bapi
文章浏览阅读1.2k次。outlook2013升级Outlook isn’t much use if you don’t have contacts. Sure, you can enter email addresses as you go, but that’s time-consuming and error-prone. It’s better to have your contacts already in O..._outlook2013邮箱能使用本地通讯录地址