MapReduce开发常用参数

  |   0 评论   |   1,174 浏览

内存溢出

异常信息

说明

解决方法

Java heap space堆溢出,多是由于加载了较大的字典文件导致增大-Xmx
Direct buffer memory在NIO操作时direct buffer不够,多是由于网络操作频繁去掉-XX:+DisableExplicitGC 加上-XX:MaxDirectMemorySize=1g

Map溢出

-D mapreduce.map.memory.mb=2048 -D mapreduce.map.java.opts=-Xmx1920m

Reduce溢出

-D mapreduce.reduce.memory.mb=2048

-D mapreduce.reduce.java.opts=-Xmx1920m

MRAppMaster溢出(多由于任务数过多)

-D yarn.app.mapreduce.am.resource.mb=2048

-D yarn.app.mapreduce.am.command-opts=-Xmx1536m

失败重试

Map

-D mapreduce.map.maxattempts=4

Reduce

-D mapreduce.reduce.maxattempts=4

MRAppMaster

(全局)

-D yarn.resourcemanager.am.max-attempts=2

(单个Job)

-D mapreduce.am.max-attempts=2

其它设置

设置Reduce数

-D mapreduce.job.reduces=400

加载jar包

-libjars hdfs://ns1/user/cxy7/runtime/libjars/hive-exec-0.13.1-cdh5.3.0.jar

加载字典

-D mapreduce.job.cache.files=/user/cxy7/config/sample/sample.txt


读后有收获可以支付宝请作者喝咖啡