Loading
0

使用Cloudera响应复杂的数据分析问题,缩短数据计算时间

Tenaris是全球能源行业和某些其他工业应用提供管道和相关服务的领先制造商。其中生产一种石油工业用无缝钢管,用于钻井和将油从井运到目的地。

石油工业用无缝钢管

挑战

Tenaris一直利用数据来改善制造流程和供应链运作,但一直以来都依靠少量数据样本来做出这些决定。它的旧系统缺乏组合各种来源数据的灵活性,并且使用传统工具创建预测和预测模型非常耗时。随着他们的分析问题变得越来越复杂,该组织看到了对现代数据平台的需求。

“我们被问到目标变量如何与数百种可能的特征相关联。Tenaris数据科学主管Vincenzo Manzoni说,我们需要回答诸如“将这个功能与目标变量相匹配的最佳模型是什么?”这样的问题。

解决方案

Tenaris实施了Cloudera现代数据平台,以了解过程控制实际上是如何影响制造业的。该解决方案将制造过程中生成的数据与R&D部门的过程控制数据相关联。

Tenaris使用Cloudera的平台,打破业务系统数据孤岛,分别从五个工厂的专有过程控制应用程序和数据库中的数千个传感器中提取工业日志数据,分别通过Apache Flume和Apache Sqoop进行提取。Flume摄取将Tenaris贡献的功能利用到CDH中通常可用的开源项目中。

传感器的时间序列数据可跟踪整个过程中的耗电量,压力,炉温和其他变量。Tenaris使用Apache Spark处理数据,并使其可通过Apache Impala和Tableau用于基于浏览器的分析。利用Spark的能力在Cloudera集群中扩展机器学习,可以使用相同的数据来训练模型。

实作

Tenaris选择Cloudera的原因是该平台的成熟度-通过其管理工具(Cloudera Manager)以及与其他生态系统技术(Tableau)的集成来展示。他们在一个月内将Cloudera投入生产。

Tenaris数据工程师Andrea Rota表示:“借助Cloudera Manager,我们只需单击几下就可以监视和调整整个集群。” “这非常有用。 由于我们只有几个人,所以对我们来说非常有效。”

结果

通过Cloudera解决方案,我们能够做出决定,以节省成本并提高制造流程的效率。生产更好的管道可以使公司向最终客户提供更好的产品,这可以使公司成为此类产品的市场领导者。

-Tenaris数据科学主管Vincentzo Manzoni

现在,Tenaris可以响应复杂的数据科学要求而提供结果,而所需时间仅为以前的一小部分。

例如,Tenaris正在根据机器学习模型提供的能耗预测来优化其主要发电厂的制造运营,这些预测将决定在最新的市场限制下生产和销售多少产品。这些模型在Cloudera平台上进行了大规模测试,可在不到一秒钟的时间内提供更好的计算结果。相比之下,基于电子表格的旧模型需要花费几分钟来计算和收集基于历史数据集的不准确结果。

Cloudera试用和报价

关于Cloudera

在 Cloudera,我们相信数据可以使今天的不可能,在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera 为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下,Cloudera推动了全球最大型企业的数字化转型历程。


慧都大数据专业团队为企业提供Cloudera大数据平台搭建,免费业务咨询,定制开发等完整服务,快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服,我们有专业的大数据团队,为您提供免费大数据相关业务咨询!