Cloudera Manager — hadoop集群软件分发和管理平台

apache hadoop及其生态组件安装管理的缺点

  • 部署过程及其复杂,超过20个节点的时候,手动操作就非常累了。
  • 各组件部署完成后,各自为政,没有统一化的管理界面。
  • 各组件之间的依赖关系很复杂,一环扣一环,部署过程心累。
  • 各组件之间没有统一的可视化界面,比如hdfs占用磁盘空间、IO、运行状况等。
  • 优化等需要用户自己根据业务场景进行跳转,效率极低,不能自动分发到所有节点上。

为了解决上述问题,出现了一些商业化的大数据组件,其中以Cloudera公司推出的CDH版本,CDH是hadoop和相关项目中最完整的、最稳定的、最流行的发行版本。CDH出现帮助解决了各个软件之间的兼容问题,同时集成了大量的常规企业优化方案,为了提升用户体验,还专门推出了一款管理自家产品的大数据软件cloudera manager。

cloudera manager是用于管理CDH集群的B/S应用。其特点:应用自动化安装,实时监控,集中的图形化管理,集成了全套的诊断工具等。

cloudera manager 优缺点

优点

  • 统一的可视化界面,自动部署、配置、调优各类大数据组件
  • 多用户权限管理
  • 稳定性极好

缺点

  • server和agent需要占用额外的内存和cpu(CM的server会占用4.5G内存,如果开启监控占用6.6G)
  • 需要对hadoop的apahce版本有一定的调优经验

在实验条件下,虚拟机如果安装CM,那么建议内存分配如下:
16G内存的电脑,node1占用10G,node2占用3G
12G内存的电脑,node1占用8G,node2占用2.5G

cloudera manager 适用场景

  • 适用于节点在5个以上的集群,节点较少时,为了节省服务器资源,可以不部署。
  • 适用于运维工作较繁琐的场景,这样维护工作就会轻松很多。

安装

注意:安装cloudera manager推荐8G内存,

此处评论已关闭