Loading
0

Cloudera资讯|结束数据中心敏捷与控制之间战斗的CDP私有云

作为BI分析师,您是否遇到过因为其他团队正在使用而无法刷新的仪表板的情况? 作为数据科学家,您是否曾经需要等待6个月才能访问最新版本的Spark? 作为应用程序架构师,您是否曾被要求等待12周才能获得将硬件安装到新应用程序上的能力? 到目前为止,也许唯一的选择是找到一个知道如何绕过中央IT并建立独立的“点解决方案”的人。但是这样做可能会给公司带来安全和合规风险。如果有一种方法可以解决这些延迟而又不绕过IT并造成风险是不是更好呢? 如果有一种方法可以不离开数据中心呢? 现在Cloudera高兴地宣布了旨在应对这些挑战的数据分析平台– CDP私有云。

自Cloudera和Hortonworks合并以来,CDP私有云代表了数据中心最大的平台创新。作为其核心,CDP私有云是用于本地部署的下一代云原生架构。它分离并改进了计算和存储,将它们与安全和治理工具套件集成在一起,并将所有组件打包在一起,并提供了更简单直观的管理控制台。在Cloudera,采取了这些步骤,并将其目标放在了首位:在不放弃中央IT和InfoSec要求的安全性和治理的前提下,提供数据用户所需的敏捷性。

在这个由多部分组成的博客文章的第一部分中,将深入研究构成CDP私有云的各个组件。因此,现在先仔细研究构成CDP私有云的五个主要组件。

CDP私有云的主要组成部分

  • 分析经验:CDP私有云引入了针对每个数据分析平台主要支柱的新分析经验。我们将从今年夏天开始提供两种体验:Cloudera机器学习(CML)和Cloudera数据仓库(CDW)。在接下来的几个月中,我们将介绍Cloudera数据工程(CDE)和Cloudera DataFlow(CDF)。这些经验是由Kubernetes精心策划的,是作为容器化服务而重新开发的。借助这种新架构,CDP可以在几分钟内提供和扩展这些分析经验,并分配足够的资源来满足当前需求。

分析体验还具有新的最终用户界面,可简化其各自数据分析域的端到端工作流程。因此,CDW不仅提供了JDBC端点,还提供了丰富的SQL编辑器。 CDE不仅提供了一个Spark Shell,还允许用户创建和可视化复杂的作业管道,并随时间监视ETL作业的性能。

  • 管理控制台:新的管理控制台为管理员提供了一种简便的方法来调配,扩展,收缩,停用和配置每种分析体验的隔离实例。它还提供了整个Kubernetes集群的资源消耗,每个用户或每个团队(即将推出)的资源配额以及用户管理功能(包括与Active Directory集成)的全局视图。在即将发布的CDP私有云版本中,管理控制台还将提供对三个操作工具的直接访问:用于备份和灾难恢复的Cloudera Replication Manager,用于分析,调试和优化用户工作负载的Cloudera Workload Manager,以及用于查找的Cloudera Data Catalog。 ,整理和审核数据。
  • 对象存储:随着CDP私有云的发布,Cloudera还引入了一个由Apache Ozone支持的新对象存储。臭氧与分析经验分开部署,从而可以独立扩展,升级,管理和维护。更重要的是,臭氧可以在不降低速度的情况下扩展到数十亿个对象-对象存储的结构优势推动了它们在云原生平台中的普及。臭氧将降低管理困扰HDFS的“小文件问题”的运营成本,而不会放弃使HDFS最初流行的所有性能,安全性和功能。
  • 安全性和治理:CDP私有云带有一整套安全性和治理功能,我们称之为共享数据体验(SDX)。其中包括使用Apache Ranger的基于角色和基于属性的访问控制,使用Apache Atlas的数据沿袭和数据发现,端到端TLS有线加密以及使用Ranger的密钥管理服务进行静态加密。这些服务规范了最终用户可以通过分析体验执行的操作,但独立于这些体验进行操作。这意味着可以独立配置,管理和升级安全性和治理工具,并且这些更改将自动反映在分析体验中。
  • 传统的工作负载:虽然大多数新工作负载最适合于新的解耦的模块化体系结构,但我们也知道客户已经使用以前流行的引擎(如MapReduce或Tez)开发了关键任务应用程序。 Cloudera将继续支持这些在与存储托管在一起的裸机上运行的工作负载。最重要的是,这些工作负载将可以访问与容器原生体验相同的全局存储,安全性和治理工具。

这五个组件共同构成了CDP私有云。通过它们的融合,这个平台变得特别强大。CDP私有云在物理上独立于存储和元数据流程的计算机上运行分析体验。Cloudera使用这种独立性来优化计算端(通过容器化)和存储端(通过采用对象存储)的基础结构层。然后,利用Kubernetes简化了配置,扩展,多租户和分析体验的升级。最后,将所有组件连接在一起并进行测试,以提供完整的解决方案。

之后我们将讨论CDP私有云中的这种模块化体系结构如何提高数据中心的敏捷性,敬请期待!

Cloudera试用和报价

关于Cloudera

在 Cloudera,我们相信数据可以使今天的不可能,在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera 为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下,Cloudera推动了全球最大型企业的数字化转型历程。