分享

hadoop2.0 capacity调度器配置

 用勿龍潛 2014-01-17

hadoop2.0 capacity调度器配置

集群同时运行的最大作业数
<name>yarn.scheduler.capacity.maximum-applications</name>
    <value>100</value>

default 队列同时运行的最大作业数
 <name>yarn.scheduler.capacity.root.default.maximum-applications</name>
    <value>10</value>

am 所占资源最大比例,用来控制同时运行的作业数
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.1</value>

默认的资源计算器,使用内存作为度量
<name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>

子队列分别占用资源的百分比,所有子队列的和应该是100
<name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>50</value>
 <name>yarn.scheduler.capacity.root.datadev.capacity</name>
    <value>50</value>

用户可以占用队列分配的资源的比例,0-1
<name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
    <value>1</value>

队列可以使用资源的最高比例
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>80</value>

队列的状态:RUNNING   STOPPED
<name>yarn.scheduler.capacity.root.default.state</name>
    <value>RUNNING</value>

队列访问控制,用户与用户之间用“,”隔开,用户和组之间用“ ”空格隔开
<name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
    <value>datadev </value>

队列管理权限,格式同访问权限配置
<name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
    <value>datadev datadev</value>

为了尽量调度rack-local的container,可以等待的次数,默认-1表示关闭此项功能。
通常设置为机架数量
<name>yarn.scheduler.capacity.node-locality-delay</name>
    <value>-1</value>



root队列的子队列,子队列也可以细分成多个队列
<name>yarn.scheduler.capacity.root.queues</name>
    <value>default,datadev</value>

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多