Loading
0

Apache HBase生日快乐!感谢你10年如一日的弹性、稳定性和性能

qlik sense 桌面版免费下载

Apache HBase在10年前成为Apache的顶级项目,而Cloudera同时开始为它做贡献(2010年)。在这段时间里,它已成为大数据中最大、最流行的开源工具之一,也是最流行的NoSQL数据库之一。

Apache软件基金会宣布Apache HBase十周年

HBase支持键值和宽列NoSQL数据库,并且被广泛的企业使用。Cloudera在生产中有500多个客户,使用它的用例包括关键任务事务应用程序、数据仓库、机器学习和数据工程。我们的客户选择HBase是因为它具有弹性(某些客户能够在多年内实现100%的应用程序正常运行时间)、稳定性、性能以及较低的运营成本。 Cloudera客户与Phoenix(这是基于HBase构建的基于SQL的数据库)以及有时与Apache Impala和/或Apache Hive(使其允许他们在HBase上运行基于SQL的OLAP查询)一起独立部署它。

自2018年以来,我一直担任Cloudera运营数据库产品的产品经理,并有机会与我们的许多客户会面。客户使用HBase的广泛方式给我留下了深刻的印象。用例的广度是如此之大,种类繁多,以至于无法进行细分。经过大量分析,我最终得到了一种简单的方法来对用例进行分类-使用它来支持关键任务应用程序的客户和不使用它的客户。关键任务应用程序通常具有事务性,可帮助我们的客户增加收入并/或提高运营效率。对于他们来说,如果HBase崩溃,那么顶线和/或底线就会受到影响,在最坏的情况下,人们可能会丧命。

关键任务用例的示例:

  • 一家医疗保健软件供应商使用HBase来驱动数百种应用程序。如果这些应用程序失败,则由于任何原因人们可能会死亡并且医疗保健费用会增加。该客户已将HBase部署在7000多个节点上,这些节点具有70 PB以上的数据。
  • 手机制造商使用HBase在6000多个节点上启用语音助手和许多其他用例
  • 一家金融媒体公司使用HBase为平台的各个部分提供动力,并使交易者和其他人能够了解有关1200多个节点上的股价变动、趋势等的相关情况。
  • 市场领先的电子邮件营销平台在约1000个节点上运行HBase
  • 一家保险提供商在约1000个节点上使用HBase来存储所有索赔信息,并在整个生命周期中使用它来管理这些索赔
  • 图书馆服务提供商在400多个节点上使用HBase来支持全球的馆际互借
  • 一家全球配电公司在400多个节点上使用HBase来获取7百万个智能电表中的读数,并为配电网络,电费账单应用执行维修团队的自动部署,并推动机器学习模型的持续培训
  • 印尼最大的电信公司Telkomsel,拥有超过1亿7千万客户,将其整个CRM应用程序从旧版MPP数据库迁移到HBase和Impala,并能够针对所有用户的呼叫记录、配置文件、充值,所有CRM查询实现亚秒级的响应时间,Impala查询HBase的好处是确保可通过JDBC访问与ANSI SQL兼容的接口,以最大程度地减少CRM更改。

非关键任务用例的示例:

  • 个人护理产品制造商使用HBase来管理其所有产品品牌和营销材料
  • 半导体制造商使用HBase存储其产品中的日志文件,并将其提取到其他系统中进行分析
  • 电信提供商使用HBase为Hive存储其尺寸表

HBase与其他NoSQL产品的不同之处在于它在整个开放源代码,大数据生态系统中的集成,使客户能够享受端到端的体验。他们可以将其用于需要边缘数据的应用程序或需要大规模交付AI/ML模型的应用程序或其任意组合。

我在Cloudera上遇到的最有趣的支持通知单之一是,当HBase客户提交了高优先级的通知单时,表明他们的关键任务部署已停止。他们与我们互动已有一年多了,我甚至都不知道他们是重要的客户。在这种情况下,我才得知他们已经部署了1000个节点来为HBase上的全渠道营销平台提供动力。问题的根源是他们在事件发生前9个月对配置设置进行了一些有问题的更改。当他们最终重新启动时,有问题的配置设置生效,导致他们向Cloudera寻求帮助!

Cloudera对HBase十分关心,并拥有15个项目的提交者和PMC成员。我们还进行了投资,以使用类似PaaS和dbPaaS的形式在公共云上提供它。

Cloudera试用和报价

多年来的HBase经验

鉴于我们对该项目的长期承诺和历史,我们希望与Cloudera团队分享与该项目相关的一些经验和故事。

“几年前,我参加了一个针对Apache Hadoop的技术会议。一个傍晚,我正回到自己的房间,碰巧看到一群我认识为长期客户的人挤在桌子旁。现在,这些人是一个非常有能力的团队,我与他们一起工作了很多年。我蜿蜒而过,打算简短地打个招呼,并在漫长的一天后继续前进。事实证明,他们的其中一个系统出现了生产中断,并且正在设法解决该问题。我坐下,拿出笔记本电脑,在接下来的几个小时里和他们一起闲逛,同时我们分析了问题并解决了所发现的问题。支持关键任务应用有时需要英雄,但有时您还会发现一些羽毛。”

——高级工程师

“对于许多企业而言,能够扩展并仍然满足其关键任务系统的低延迟要求绝对至关重要。如果您回顾档案,我们的客户将很难达到如此艰难的标准。HBase具有使满足这些期望变得容易的要素,尤其是通过最小化触发下一个最佳操作的时间。”

——首席解决方案架构师

“三年前,我是Cloudera的一名新加入的工程经理。我曾经了解过公司的开源活动,从高中开始就一直是GNU Linux的用户,但是使用开源和成为开源的一部分却完全不同。

作为公司的新成员,我必须了解团队的工作,因此我获得了一些分配给自己的支持通知单,并开始进行工作。我只知道两件事,我是一名Java开发人员多年,因此我必须能够做到这一点,而Hortonworks是我们最具挑战性的竞争对手,这意味着与他们合作可能会很有趣。

然后事情就发生了,在我第一次使用Apache HBase票证时,我遇到了Hortonworks HBase团队负责人Josh Elser,他向我展示了执行newby任务可能比预期的要难(HBase团队拥有质量标准)您的竞争对手可以成为您在开源社区中的最佳合作伙伴。最后,他承诺我的改变。

在过去三年中,许多事情发生了变化。Cloudera和Hortonworks合并,我们现在在同一家公司工作,但Apache和HBase相同。我花了有限的时间来编写代码,但看到了它的功能,看到了它如何用于我不知道的服务,并且看到了它如何使全世界的人们一起工作。它使公司、大洲和文化之间的人们联系起来。”

——工程经理

“HBase和Phoenix很容易学习。Data Hub使启动变得容易,现在正期待Cloudera Operational Database将HBase带入下一个十年。”

——技术客户成功经理

“在过去的9年中,我从第一线开始就致力于HBase的开发,并且看到了客户从POC到大型、关键任务平台如何使用HBase的演变。这段时间最引人注目的时刻是在Cloudera和Hortonworks合并之前,两家公司的团队共同努力以改善一项关键产品功能的功能。最终,该作品在HBaseCon上展示,并获得了HBase的两个最大用户的高度认可。此功能可为全球超过2B移动设备使用的关键功能提供支持。”

——高级工程师

“HBase过去十年来的另一个伟大时刻,是在2015年HBaseCon上,来自Google的Carter Page公开认可了HBase如何发展成为一个非常坚实的项目。”

——高级工程师

“我很高兴参加几乎所有的HBaseCon(并在其中一些会议上发言)。这是我最喜欢的三个HBaseCon记忆:(1)HBase的多样性:HBase 2.0公告不仅强调了已发货的JIRA数量,而且强调了美国以外的HBase提交者和PMC成员的数量,还有一位女士领导HBase PMC ;(2)HBase的发展势头:Facebook宣布他们将自定义分支移至Apache HBase的100%上游;以及(3)HBase的垫脚石:在一个HBaseCon上,彭博社的一名开发人员进行了只读副本的演讲,然后发表了两个HBaseCons ,一位苹果开发人员就在生产中使用只读副本发表了HBaseCon主题演讲。”

——高级系统工程师

Cloudera,我们继续看到该项目的光明前景,并希望它能够发展为以PaaS类和dbPaaS形式在云中以及在具有私有云的数据中心中构建的下一代应用程序提供支持。


关于Cloudera

在 Cloudera,我们相信数据可以使今天的不可能,在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera 为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下, Cloudera推动了全球最大型企业的数字化转型历程。了解更多,请联系在线客服

慧都大数据专业团队为企业提供Cloudera大数据平台搭建,免费业务咨询,定制开发等完整服务,快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服,我们有专业的大数据团队,为您提供免费大数据相关业务咨询!