收藏本站 您好,欢迎来到检测仪器网 请登录 免费注册 行业导航 产品 求购 企业 动态 展会 招聘
分享到:

长春大数据培训学校讲解HDFS架构

来到千锋学习大数据技术已经有一段时间了,经过一段时间的接触,才深深明白,大数据技术学习并不比编程学习,其中包含的技术知识太多了,需要具备的学科知识也非常广泛。

比如说:想要学习大数据技术,思维上一定要有逻辑性;在学科知识上,数学和统计学等技术知识是必备的,还有就是一些重要的编程语言,至少要熟练掌握一门编程的,我是学习的java,目前刚刚介入到Hadoop的学习过程中,今天给大家分享的是在千锋学习的大数据技术知识——HDFS架构与基本存储单元。

 

对于 HDFS 架构来说,一个 HDFS 基本集群包括两大部分,即 NameNode DataNode节点,其作用是将管理与工作进行分离。通常来说,一个集群中会有一个 NameNode 与若干个 DataNodeNameNode 是一个集群的主服务器,主要是用于对 HDFS 中所有的文件及内容数据进行维护,并不断读取记录集群中 DataNode 主机情况与工作状态,并通过读取与写入镜像日志文件的方式进行存储。而 DataNode 是在 HDFS 集群中担任任务具体执行,是整个集群的工作节点,文件被分成若干个相同大小的数据块,分别存储在若干个 DataNode 上,DataNode 定时定期向集群内 NameNode 发送自己的运行状态与存储内容,并根据 NameNode发送的指令进行工作。

小提示:NameNodeDataNode可以工作在一台机器上,但是此种工作方式极大的限制了HDFS性能。

NameNode 负责接受客户端发送过来的信息,然后将文件存储信息位置发送给提交请求的客户端,由客户端直接与 DataNode 进行联系,进行部分文件的运算与操作。对于文件存储来说, HDFS 使用 Block(分块)来对文件的存储进行操作。对于传统磁盘存储来说,磁盘都有默认的存储单元,通常使用的是数据定义中的最小存储单元。 Block HDFS 的基本存储单元,默认大小是 64M,这个大小远远大于一般系统文件的默认存储大小。这样做的一个最大好处减少文件寻址时间。

除此之外,采用 Block 对文件进行存储,大大提高了文件的灾难生存与恢复能力, HDFS还对已经存储的 Block 进行多副本备份,将每个 Block 至少复制到 3 个相互独立的硬件上。这样做的好处就是确保在发生硬件故障的时候,能够迅速的从其他硬件中读取相应的文件数据。而具体复制到多少个独立硬件上也是可以设置的。

在大数据学习的道路上,这些仅仅是皮毛,还需要深入学习更多的技术,不说了,继续沉迷学习不可自拔了!


千锋哈尔滨校区官网http://hrb.mobiletrain.org/

咨询专线:17710405956 / 4008119990

迟老师QQ :2231043257

安老师QQ1240739179

哈尔滨校区地址:哈尔滨市松北区创新一路699号 科技创新城19号楼B座五楼

长春大数据培训学校讲解HDFS架构

 


分享到:
免责声明
1)本信息由“北京千锋互联科技有限公司”发布,由“北京千锋互联科技有限公司”负责信息的合法性;
2)本站平台目的在于分享更多信息,不代表本站的观点和立场;信息仅供参考,不构成投资及交易建议。投资者据此操作,风险自担。
3)本信息如有侵权请将此链接发邮件至517763949@qq.com,本站将及时处理并回复。
4)《新著作权法草案》第六十九条规定:网络服务提供者为网络用户提供存储、搜索或者链接等单纯网络技术服务时,不承担与著作权或相关权有关的信息审查义务。网络用户利用网络服务实施侵犯著作权或者相关权行为的,被侵权人可以书面通知网络服务提供者,要求其采取删除、屏蔽、断开链接等必要措施。