博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
检查hdfs块的块-fsck
阅读量:6819 次
发布时间:2019-06-26

本文共 1082 字,大约阅读时间需要 3 分钟。

hadoop集群运行过程中,上下节点是常有的事情,如果下架节点,hdfs存储的块肯定会受到影响。

如何查看当前的hdfs的块的状态

hadoop1.x时候的命令,hadoop2.x也可使用:

hadoop fsck /

在hadoop2.0之后,可以使用新命令:

hdfs fsck /

返回结果截图如下:

 

 

参数说明:

Total size : hdfs集群存储大小,不包括复本大小。如:75423236058649 B (字节)。(字节->KB->m->G->TB,75423236058649/1024/1024/1024/1024=68.59703358591014TB) 

Total blocks (validated) : 总共的块数量,不包括复本。(5363690 (avg. block size 14061818 B) (Total open file blocks (not validated): 148),计算: 14061818 *5363690=75423232588420 集群的容量大小,不包括复本的)

Number of data-nodes : datanode的节点数量

Number of racks : 机架数量

Default replication factor : 默认的复制因子

Average block replication : 当前块的平均复制数,如果小 default replication factor,则有块丢失

Under-replicated blocks : 正在复制块数量,可采用 hadoop fsck -blocks  解决问题

Mis-replicated blocks : 正复制的缺少复制块的数量

Missing replicas : 缺少复制块的数量,通常情况下Under-replicated blocks\Mis-replicated blocks\Missing replicas 都为0,则集群健康,如果不为0,则缺失块了

Corrupt blocks : 坏块的数量,这个值不为0,则说明当前集群有不可恢复的块,即数据有丢失了

 

当下架节点时Under-replicated blocks\Mis-replicated blocks\Missing replicas,这三个参数会显示当前,需要补的块的数量,集群会自动补全,当三个参数都为0时,则集群块的复制块完全了。

 

转载于:https://www.cnblogs.com/Qing-840/p/10603046.html

你可能感兴趣的文章
“亲切照料”下的领域驱动设计
查看>>
全面异步化:淘宝反应式架构升级探索
查看>>
90 后 CTO 创业 6 年,做了一件改变互联网的“小事”
查看>>
sequelize入门
查看>>
ThinkJS 2.0发布 JavaScript全栈开发框架
查看>>
独家!阿里开源自用OpenJDK版本,Java社区迎来中国力量
查看>>
Spring Web Services 3.0.4.RELEASE和2.4.3.RELEASE发布
查看>>
调查:Android的领先地位稳固
查看>>
专访阿里巴巴研究员赵海平:从Facebook到阿里巴巴
查看>>
处理团队中的消极情绪
查看>>
深入浅出Tensorflow(三):训练神经网络模型的常用方法
查看>>
区块链编程完全指南
查看>>
构建一个运行在Azure虚拟机上的MySQL Spring Boot应用程序
查看>>
英特尔披露新的预测执行漏洞L1终端故障
查看>>
Vue.js表单控件绑定
查看>>
如何撰写好文档?精益文档的六个实践
查看>>
魔鬼存在于细节中:从Redshift迁移到ClickHouse后再无数据丢失
查看>>
上学还是坐牢?百年老校“监控”学生惹争议
查看>>
作者访谈录——关于战略、领导力以及灵魂
查看>>
Linux 下 docker 安装 MySQL
查看>>