调优

刘超 4月前 ⋅ 4888 阅读   编辑

  本章将会从操作系统、JVM、平台、应用三个层面来讲解调优

一、操作系统调优(以centos为例 

  1、关闭大分页,以减少操作系统内存,好有更多内存供hadoop组件使用

  2、调整文件打开数

二、JVM调优

  1、增大堆大小

  2、选择合适的垃圾回收算法

三、平台调优

  1、均衡计算/存储资源

    如果CPU负载比较低,而IO负载比较高,可以选择合适压缩算法,来均衡CPU与IO的负载;mapreduce开启压缩

  2、动态调配资源

    报表任务一般要求在某一时间跑完,这样会在Yarn上堆积大量任务,我们可以调用Yarn api实现任务资源动态调整,对于紧急任务,CPU/内存资源多给一些,而其他任务,就少给些CPU/内存资源

  3、组件参数调优

    a) hive调优:包含hive自身调优与执行引擎调优(mapreduce),hive自身调优比如开启mapjoin等;执行引擎调优见下面

    b) mapreduce调优:采用多磁盘分压等

  4、选择适当依赖组件

    a) hive,hive依赖执行引擎,默认执行引擎是mapreduce,为加快执行速度,我们可以将执行引擎改为tez,从而避免中间结果落盘,开启llap,实现数据的热加载等

四、应用

  1、hive调优

  2、tez调优


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: