配置hadoop集群是怎么配置的

在过去，大数据处理主要是采用标准化的刀片式服务器和存储区域网络（SAN）来满足网格和处理密集型工作负载。然而随着数据量和用户数的大幅增长，基础设施的需求已经发生变化，硬件厂商必须建立创新体系，来满足大数据对包括存储刀片，SAS（串行连接SCSI）开关，外部SATA阵列和更大容量的机架单元的需求。即寻求一种新的方法来存储和处理复杂的数据，Hadoop正是基于这样的目的应运而生的。Hadoop的数据在集群上均衡分布，并通过复制副本来确保数据的可靠性和容错性。因为数据和对数据处理的操作都是分布在服务器上，处理指令就可以直接地发送到存储数据的机器。这样一个集群的每个服务器器上都需要存储和处理数据，因此必须对Hadoop集群的每个节点进行配置，以满足数据存储和处理要求。

Hadoop框架中最核心的设计是为海量数据提供存储的HDFS和对数据进行计算的MapReduce。MapReduce的作业主要包括从磁盘或从网络读取数据，即IO密集工作，或者是计算数据，即CPU密集工作。Hadoop集群的整体性能取决于CPU、内存、网络以及存储之间的性能平衡。因此运营团队在选择机器配置时要针对不同的工作节点选择合适硬件类型。一个基本的Hadoop集群中的节点主要有：Namenode负责协调集群中的数据存储，DataNode存储被拆分的数据块，Jobtracker协调数据计算任务，最后的节点类型是Secondarynamenode，帮助NameNode收集文件系统运行的状态信息。

在集群中，大部分的机器设备是作为Datanode和TaskTracker工作的。Datanode/TaskTracker的硬件规格可以采用以下方案：

4个磁盘驱动器（单盘1-2T），支持JBOD

2个4核CPU,至少2-2.5GHz

16-24GB内存

千兆以太网

Namenode提供整个HDFS文件系统的namespace管理，块管理等所有服务,因此需要更多的RAM，与集群中的数据块数量相对应，并且需要优化RAM的内存通道带宽，采用双通道或三通道以上内存。硬件规格可以采用以下方案：

8-12个磁盘驱动器（单盘1-2T）

2个4核/8核CPU

16-72GB内存

千兆/万兆以太网

Secondarynamenode在小型集群中可以和Namenode共用一台机器，较大的群集可以采用与Namenode相同的硬件。考虑到关键节点的容错性，建议客户购买加固的服务器来运行的Namenodes和Jobtrackers，配有冗余电源和企业级RAID磁盘。最好是有一个备用机，当 namenode或jobtracker 其中之一突然发生故障时可以替代使用。

目前市场上的硬件平台满足Datanode/TaskTracker节点配置需求的很多，，据了解深耕网络安全硬件平台多年的立华科技瞄准了Hadoop的发展前景，适时推出了专门针对NameNode的设备----双路至强处理器搭载12块硬盘的FX-3411，将计算与存储完美融合，四通道内存的最大容量可达到256GB，完全满足NameNode对于一个大的内存模型和沉重的参考数据缓存组合的需求。

同时在网络方面，FX-3411支持的2个PCI-E*8的网络扩展，网络吞吐达到80Gbps，更是远远满足节点对千兆以太网或万兆以太网的需求。此外针对Datanode/TaskTracker等节点的配置需求，立华科技不仅推出了可支持单路至强E38核处理器和4块硬盘的标准品FX-3210，还有可以全面客制化的解决方案，以满足客户的不同需求。

Hadoop集群往往需要运行几十，几百或上千个节点，构建匹配其工作负载的硬件，可以为一个运营团队节省可观的成本，因此，需要精心的策划和慎重的选择。

温州立华科技发展有限公司是2007-02-25在浙江省温州市注册成立的有限责任公司(自然人投资或控股)，注册地址位于温州市瓯海区娄桥工业园集贤路22号。

温州立华科技发展有限公司的统一社会信用代码/注册号是91330300794358046D，企业法人张向雄，目前企业处于开业状态。

温州立华科技发展有限公司的经营范围是：生产销售工控设备、电子器件、皮鞋；货物进出口、技术进出口。在浙江省，相近经营范围的公司总注册资本为1924068万元，主要资本集中在1000-5000万和100-1000万规模的企业中，共3812家。本省范围内，当前企业的注册资本属于优秀。

通过百度企业信用查看温州立华科技发展有限公司更多信息和资讯。

厦门领航立华科技有限公司是2003-02-17在福建省厦门市注册成立的有限责任公司(自然人投资或控股)，注册地址位于厦门市思明区莲前西路859号359室A区。

厦门领航立华科技有限公司的统一社会信用代码/注册号是91350200737879320N，企业法人柯金水，目前企业处于开业状态。

厦门领航立华科技有限公司的经营范围是：计算机系统集成、安全技术防范系统、弱电系统集成、软件开发及硬件设备销售，经营各类商品和技术的进出口（不另附进出口商品目录），但国家限定公司经营或禁止进出口的商品及技术除外；批发、零售办公设备、通讯设备；机房设备施工及综合布线，环境工程设备、环保技术、计算机信息技术咨询。在福建省，相近经营范围的公司总注册资本为4074848万元，主要资本集中在1000-5000万和100-1000万规模的企业中，共9599家。本省范围内，当前企业的注册资本属于良好。

通过百度企业信用查看厦门领航立华科技有限公司更多信息和资讯。

---