Cloudera资讯|开放式混合架构：O3

在与CLOUDERA合并之前，此博客文章已发布在HORTONWORKS.COM上。某些链接，资源或参考可能不再准确。

介绍我们的存储环境O3

在开放式混合架构系列的最后三个博客（视觉，关键原则/概念，实际案例）的基础上，现在希望更深入地研究我们的存储环境，尤其是O3（臭氧的分子式）。

首先，我们想回顾一下Hadoop历史。Apache Hadoop文件系统（HDFS）在2006年以5000行代码开始。这是企业采用的第一个软件定义的存储，现在在商品硬件上存储数百EB的大数据，以推动我们今天熟悉的分析革命。现在，又迈出了一大步，我们乘坐上了名为“ O3”的火箭飞船。

Ozone或O3是下一代对象存储，旨在：

• 扩展到数万亿个文件，数千个节点（想象中，由连接的设备创建的数据量）
• 整合二级存储层（hadoop，归档，备份）
• 像Apache HDFS一样保持高度一致性，这样分析应用程序就不会最终建立一致性层
• 讲多种协议（Hadoop API，S3 API，iSCSI块，NFS）以应对当今的各种工作负载
• 为Kubernetes和Apache YARN提供存储接口，为新的容器化世界打下基础

开放式混合架构的基础构建块

我们开始看到存储在云世界中与计算分离，随着网络变得越来越快，规模越来越大，优先级流控制越来越好，计算和存储都可以分别扩展。Cloudera的客户可能会要求解耦存储，以便他们可以分别扩展存储环境。当存储被解耦和共享时，它需要扩展并具有多种协议来支持各种用例。借助对容器编排的支持，现在可以设计工作负载，以便可以将它们部署在本地和云中。但是，需要声明以下说法：一些核心客户仍然喜欢将计算和存储架构耦合以从本地化中受益，没关系，O3架构支持两种部署模型。

取其精华

O3利用了十多年的经验教训，由第一天就参与Apache HDFS的同一社区和核心团队成员设计。

开放

顾名思义，“ O”表示O3是100％开放源代码（Apache Hadoop项目的一部分）。客户不必担心专有数据格式的锁定。

规模

从Apache HDFS的许多优势中受益。像Apache HDFS一样，O3可以扩展到成千上万个节点，因为Cloudera的客户在生产中的单个集群中有成千上万个节点。对于某些对象存储供应商来说，这是一个致命弱点。数据放置算法抑制了某些对象存储供应商的规模，因为节点被永久删除或添加，大量数据移动（超过了删除或添加的数据量）并且新节点无法长时间使用。现在，Apache HDFS还存在文件较小的问题，因为在单个集群中创建了大量文件（为了澄清，HDFS可以轻松地在集群中扩展到250M +文件，但是这是当今连接世界的Hadoop扩展 ）。虽然将整个元数据存储在名称节点内部的JVM内存占用中有助于缓解延迟，但它限制了Hadoop群集中文件的总数，现在再使用名称节点联合来推高扩展限制。O3确实使用平坦的键值和存储容器方法彻底解决了小文件问题，因此可以扩展到数百亿个对象。

合并

在与客户交流时，Cloudera的客户希望锁定存放在其归档存储中的暗数据的价值。很多时候，他们必须将数据从一层复制到另一层，从而创建重复数据。他们想将分析应用于暗数据。 O3将提供可扩展的解决方案，以将所有辅助数据孤岛（包括堆栈，日志，备份，存档）整合到一个解决方案中，并打破孤岛，然后Cloudera将最有能力将所有大数据分析带到数据旁边。

一致性
O3高度一致，并且始终遵循Apache HDFS的根源。由于许多内部部署和云对象存储解决方案最终都是一致的，因此上层应用程序需要构建一个一致性层来解决最终的一致性缺陷。很多时候，这意味着它们只限于归档用例，而不能真正合并所有辅助存储层。

多协议

虽然Apache HDFS是为使用Hadoop API的不可变数据（仅附加操作）而设计的，但O3却被设计为在新世界中支持多种协议。在第一次迭代中，O3将支持Hadoop API，以便现有Hadoop工作负载可以按原样工作，而无需进行任何更改。O3也将支持S3 API，以便Cloudera的客户可以使其应用程序跨云和本地部署模型移植，并且Cloudera最近推出了一个支持S3 API的Alpha版本。强化Hadoop和S3 API之后，Cloudera将为O3提供iSCSI和NFS接口。通过一项举措（在内部称为Quadra），这个项目取得了不错的进展，以展示iSCSI卷与Kubernetes容器一起使用。

就地升级

O3可以使用与Apache HDFS相同的服务器集（即数据节点）。这有助于O3和HDFS在同一群集中共存以及从Apache HDFS迁移到O3。我们的强烈意图是为目前管理着数百PB的企业客户提供无缝的就地升级途径。

更好的用户体验

传统上，Cloudera专注于Apache HDFS中强大的文件系统功能，但是围绕Apache HDFS的用户体验还没有那么丰富。从第一天开始，Cloudera就准备好投资O3的用户体验，并将在DataPlane Services中提供丰富的用户体验（HDFS和O3之间的附加监视或数据迁移）。

集装箱就绪

当Cloudera为客户提供选件时，O3可以部署在裸机服务器或Kubernetes容器上。O3将支持容器存储接口（CSI），以便O3可以为Kubernetes或Apache YARN上的容器提供持久性存储（S3 API或iSCSI接口），这又将托管Cloudera的分析工作负载，例如企业数据仓库或数据科学/工程工作负载 。

Cloudera试用和报价

关于Cloudera

在 Cloudera，我们相信数据可以使今天的不可能，在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera 为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下，Cloudera推动了全球最大型企业的数字化转型历程。

慧都大数据专业团队为企业提供Cloudera大数据平台搭建，免费业务咨询，定制开发等完整服务，快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服，我们有专业的大数据团队，为您提供免费大数据相关业务咨询！