分享

大数据-hadoop-MapReduce计算流程

 Coder编程 2020-06-24
  • MapReduce计算流程

  1  首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交

  2 一个MR程序就是一个Job,Job信息会给Resourcemanger,向Resourcemanger注册信息

  • 3  在注册通过后,Job会拷贝相关的资源信息(从HDFS中)

    4 紧接着会向Resourcemanger提交完整的Job信息(包括资源信息)

    5a  Resourcemanger 会通过提交的Job信息,计算出Job所需的资源,为Job分配Container资源

    5b 计算资源会分发给对应的NodeManger,NodeManager会创建一个MRAppMaster

    6  MRAppMaster初始化Job

    7 获取输入切片信息

    8 MRAppMaster向ResourceManager 请求资源

    9a 启动计算资源(连接到对应的资源所在NodeManager)

    9b 启动YARN Child

    10 从文件系统中获取完整的Job信息

    11 启动对应的Maptask或者ReduceTask 进程,执行计算。

 

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多