Loading
0

Cloudera案例|数据管理的重大转变—更有效地访问和探索数据

本文来源是Searcher Seismic的数据与分析副总裁Joshua Thorp的博客

在这个大数据世界中,没有解决任何数据问题的灵丹妙药。

在Searcher Seismic改善数据管理的过程中,这种不言而喻的现象反复出现。我们意识到,每个选择都有其折衷之处,而可靠的解决方案必定会集成许多单独的技术和业务流程。

话虽如此,但有一些解决方案无疑比其他解决方案要好。关键是预先非常清楚地了解您的功能需求,以便您选择最适合您需求的供应商和承包商。

更有效地访问和探索我们的数据

与许多行业一样,石油和天然气正在采用机器学习和数字化计划。成功的实施取决于高质量、组织良好的数据,这些数据保存在支持这些新技术的数据平台上。

Searcher拥有大量全球地震数据,我们的客户在计划新的石油和天然气勘探地点时将其用于制定关键任务决策。

传统上,为客户编译数据集的过程非常耗时且缓慢,需要由三到四名Searcher人员组成的团队从一系列来源中提取大量信息。典型的时间表是几周后才能通过邮寄方式传递信息。

借助我们的新系统,现在Searcher中的一个人只需单击鼠标三到四次,即可为我们的客户提供对所需数据的直接访问,他们可以通过Saismic™门户查看这些数据或将其传输到自己的分析系统。

灵活增长,不影响性能

在开始数据管理项目之前,我们进行了大量研究,以使我们的要求和现有解决方案更加清晰。

我们研究了石油和天然气行业以及其他行业如何进行数据管理。从那里,我们确定了我们需要一个使用开源软件的数据平台,尤其是像Hadoop和Spark这样的开源分布式计算软件。

我们发现Cloudera(当时为Hortonworks)拥有Hadoop生态系统的唯一完全开源发行版,现在称为Cloudera数据平台(CDP)。这极具吸引力,因为它支持许多行业已经使用的诸如Apache Spark之类的技术,这些技术使我们能够快速追踪成功,而不必从头开始构建一切。它们的分布还使部署具有灵活性,我们可以在其中部署公共云、私有云或混合云解决方案。

另一个主要供应商Pure Storage为我们的数据平台提供了存储组件。我们希望利用Cloudera平台的独立计算和存储功能,将性能极高的Pure Storage Flashblade与Cloudera工具包的强大数据工具集成在一起,以兼得两者。

我们的软件团队与Pure Storage销售工程师和Cloudera专业服务团队合作,构建了一个集成的混合云解决方案,最终使我们拥有了一个可以以非常灵活的方式增长而又不影响性能的数据平台。我们对这种部署模型的TCO分析显示,它比纯公共云部署少了2至10倍,同时可以提高整体性能。

Cloudera试用和报价

集成团队提供量身定制的解决方案

我们发现,接触Cloudera的专业服务团队具有巨大的价值。这使我们能够与世界一流的数据工程师接触,他们可以与我们的领域专家一起建立最适合我们业务运作方式和我们想要实现的数据平台。通过这种方式,我们可以为我们的公司提供早期的成功,同时随着我们的努力而将平台的知识基础迁移到我们的内部开发中。

通过与Cloudera的合作,我们发现他们渴望了解我们的业务和数据,然后根据我们的要求和预算创建量身定制的解决方案。此外,他们与我们的员工进行了包容性合作,帮助确定项目中出现的风险并解决问题。这有助于我们专注于项目成果并构建最佳的数据平台。

挑战与回报

这是Searcher进行的最大的技术项目,因此,在我们不断前进的过程中,我们学到了很多东西,但我们对结果感到满意,并对数据平台的持续开发感到兴奋。在Cloudera专业服务团队的支持下,我们正在建立关键的技术优势,例如能够在我们的数据平台内以及为客户应用大规模的深度学习培训和预测。

如果您以前没有做过,那么软件开发就不容易,因此做功课至关重要。选择合适的项目供应商和合作伙伴也很重要。如果您的供应商不了解您的问题并且无法帮助您实现目标,即使他们拥有出色的产品或技术,也可能破坏项目。


关于Cloudera

在 Cloudera,我们相信数据可以使今天的不可能,在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera 为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下, Cloudera推动了全球最大型企业的数字化转型历程。了解更多,请联系在线客服

慧都大数据专业团队为企业提供Cloudera大数据平台搭建,免费业务咨询,定制开发等完整服务,快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服,我们有专业的大数据团队,为您提供免费大数据相关业务咨询!