超越极限！-扩展Hadoop基础架构

如果您已经使用Hadoop集群一段时间了。那么您肯定已经有50到100个节点在稳定运行，并且已经掌握了一些分析框架--无论是Spark还是Flink还是老式的Map-Reduce。这个时期的您已经能够从集群中展示出真正的商业价值，已经准备好用更多的数据和更多的应用和用户将其提升到一个全新的水平。那么怎么提高水平呢？首先集群的硬件可能不是一个大问题，因为您做了Hadoop，所以您会选择典型的商品服务器机架，每个有12或24个硬盘驱动器。但是这个时候为什么不考虑另外不同的硬件呢？

​

因为当你的集群规模接近许多数百个节点时，它肯定会成为你的数据中心中最大的集群，甚至可能成为你计算基础设施的大部分。在这种规模下，由于资源不平衡造成的效率低下，会造成大量时间、金钱、电力、热量和空间的浪费。

弯曲或打破它

即使您认为您的CPU和存储今天很平衡，但是，随着应用和框架的发展，数据变得更大，CPU变得更快，它们将不会平衡。第二年买的CPU会比去年快一倍；磁盘仍然很慢，但容量巨大。只是无法预测CPU和存储之间的正确平衡，所以你需要的是灵活性。

这种灵活性是通过将磁盘与CPU节点进行分解/分离来实现的。但要小心传统的NAS和SAN解决方案--它们与 "商品 "硬件相差甚远，会超出您的预算，同时又难以达到Hadoop需要的性能水平。寻找具有机架规模架构的解决方案，这些解决方案可以最大限度地提高您的灵活性，同时保持Hadoop所需的高性能和低成本。整个大数据运动是由非常廉价的存储所促成的，所以不要被锁定在传统的 "镀金 "存储解决方案中。

扩展

一旦存储从CPU节点中移除，您就有了更广泛的CPU/内存组合选择。考虑一下2013/4年的 "经典 "Hadoop节点--12个CPU核心，约64GB内存。您可以轻松买得起36到40个核心节点，512GB的内存（而且核心和内存都快了很多）。即使您的传统Map/Reduce应用在较小的CPU上受到I/O限制，转移到更大、更强壮的CPU节点上也可以消除大量的通信和序列化开销。Spark和其他较新的框架可以极大地受益于CPU中更大的内存量，因为几个大的缓存比相同数量的缓存分布在更多节点上更有效率。

而且不要吝啬网络，任何低于10Gbps的数据对于现在的服务器来说就像在吸管里呼吸一样，如果您已经把磁盘分开了，那么这些流量也在网络上。即使您无法控制网络主干带宽，在 "机架 "上增加带宽也能给Hadoop带来很大的帮助。

因此，在进入大规模Hadoop项目之前，请先仔细考虑一下，并确保您的硬件计划考虑到当今的技术，而不仅仅是人们在前几年取得的成功。

关于慧都数仓建模大师

慧都数仓建模大师能够快速、高效地帮助客户搭建数据仓库供企业决策分析之用。满足数据需求效率、数据质量、扩展性、面向主题等特点。基于企业的业务目标，进行数据理解、数据准备、数据建模，最后进行评价和部署，真正实现数据驱动业务决策。更多详情，请联系我们。