深耕

Thinking will not overcome fear but action will.

HDFS存储机制(一)-元数据

介绍元数据管理机制

综述 传统的HDFS ​ Hadoop分布式存储系统主要组成部分包括Namenode、Datanode 、Adapter、zookeeper，存储访问方式大体上分为两种，客户端访问和FsShell两种方式。 Namenode：管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。同时还记录着每个文件中各个block所对应dn(Datandoe)信息，即通...

Posted by 政 on September 30, 2018

hadoop滚日志以及checkpoint

了解hadoop机制

1.主机： 通过editsRoll来将上次创建的edits_inprogress_seq文件rename-》edits_seq1-seqn.(一分钟滚动一次) 通过editsRoll来创建新的edits_inprogress_seq文件，并创建新的流，之后的操作可以通过logEdit函数将数据通过这个流把op写入文件，并通过logSync来将流中的数据同步到磁盘上(每次更改操作都...

Posted by 政 on September 29, 2018

FEATURED TAGS
hadoop
ABOUT ME

Goals determine what you going to be!

✉️ hanzheng02@baidu.com

FRIENDS