楔子

前几天，笔者解决DataNode节点宕机过程中，在初期并不知道是因为Centos网卡驱动不兼容造成的系统死机。故将Nodedata源码翻出来全部看了一遍。有些心得，略写一二，各位看官见笑了。

第一回 混沌未分天地乱，茫茫渺渺无人见。  

笔者以源码跟踪的方式阐述了DataNode运行过程，如有偏颇之处实在是因为笔者水平太低，请看官留下真知灼见，作为日后相见约守。笔者为了阐述清晰只截取了部分相关代码，完整的代码请各位参考源码。

main函数是一个程序的入口，也是出口，所有的一切，从这里开始，也从这里结束。

public class      DataNode        extends    Configured        implements InterDatanodeProtocol,                   ClientDatanodeProtocol,                   FSConstants,                   Runnable,                   DataNodeMXBean {  public static void main(String args[])  {   secureMain(args, null); } }

在代码中，如果调用方法的所属类不属于DataNode，笔者会明确的标识出来，否则调用的方法都是在类DataNode中声明和定义的。 

public static void secureMain(String [] args, SecureResources resources) {  DataNode datanode = createDataNode(args, null, resources);  if (datanode != null)        datanode.join();         System.exit(0);          }

在静态方法secureMain中，DataNode变量对象datanode被创建。话分两头，我们先看datanode.join()方法，它做的就是静静的等待，等待线程终止，等待一切终止。

void join() {  dataNodeThread.join();}

话在说回来，继续看createDataNode方法中发生的事情。

DataNode createDataNode(String args[],Configuration conf,...) {    DataNode dn = instantiateDataNode(args, conf, resources);    runDatanodeDaemon(dn);      return dn;                                          }

createDataNode方法中会实例化一个Datanode对象出来，事实上实例化一个对象还需要很多的步骤和准备，这些事件将在instantiateDataNode()方法中演绎。

public static DataNode instantiateDataNode(String             args[],                                             Configuration      conf,                                              SecureResources    resources) throws IOException {    DefaultMetricsSystem.initialize("DataNode");    return makeInstance(dataDirs, conf, resources);}

public static DataNode makeInstance(String[]        dataDirs, 		                   Configuration   conf,                                      SecureResources resources)  throws IOException  {    UserGroupInformation.setConfiguration(conf);    LocalFileSystem localFS        = FileSystem.getLocal(conf);    ArrayList
    
      dirs           = new ArrayList
     
      ();    return new DataNode(conf, dirs, resources);    return null; }
     
    

在makeInstance()函数中，真正的new( )出一个DataNode类型的对象，并且立刻开始初始化DataNode类的成员变量和调用DataNode类的构造函数。其中在DataNode中比较重要的成员变量有以下几个：

public FSDatasetInterface data = null;

在datanode类中成员变量data实际上是FSDataset类型，FSDataset类型用来提供数据存储功能，FSDataset实现了FSDatasetInterface接口 ， 对于Block的所有操作都要经过data成员变量管理在这个datanode上存储的block。 

private DataStorage storage = null;

 Datanode节点利用DataStorage类型的storage对象对自己的所有存储路径进行统一管理。DataStorage主要在Datanode节点启动时扮演重要的角色。

public Server ipcServer;

在DataNode启动的时候，会创建一个ipcServer，这个ipcServer是Hadoop的ipc框架的Server实例，主要是在DataNode和DataNode之间recover block时使用,recover block会在两个地方发生，一个是namenode返回的recover命令 ,  一个是DFSClient写数据时遇到DataNode错误时触发。

在成员变量初始化完成之后调用DataNode的构造函数

DataNode(final Configuration conf,final  AbstractList
    
      dataDirs,SecureResources resources)                                         {  startDataNode(conf, dataDirs,resources);                                   }
    

在构造函数中，调用startDataNode方法 

void startDataNode(Configuration            conf,                       AbstractList
    
         dataDirs,                       SecureResources       resources  )                                                        {    storage                = new DataStorage();                                   this.threadGroup       = new ThreadGrou("dataXceiverServer");                this.dataXceiverServer = new Daemon(threadGroup,  new DataXceiverServer(ss, conf, this));              this.threadGroup.setDaemon(true);  storage.recoverTransitionRead(nsInfo, dataDirs, startOpt);                     this.dnRegistration.setStorageInfo(storage);                          this.data = new FSDataset(storage, conf);               this.infoServer.start();   blockScanner = new DataBlockScanner(this, (FSDataset)data, conf);        }
    

在startDataNode方法中还storage、data、dataXceiverServer、DataBlockScanner都有各自的任务。下次继续说。