◆◆0

IBM大数据采集工具，助力企业快速释放数据价值

chenjj 2017-06-01 大数据应用, 行业新闻 3,885 views

企业获取“可信任数据”，概括来说就是，在数据采集，集成，分析到监管等各个环节保证数据的高质高效，才能确保输出的数据能为企业提供发展点动力。而在这些环节之中，数据集成是最为关键的一环！

近年来大数据遍地开花，在被广泛应用的同时，呈现出多样化、异常化、速变化等特点，此时的企业在进行商业决策时面对更大的挑战，需要具备强大的信息管理和掌控能力才能化解难题，急需一套集理解、清理、监视、转换和提供数据于一体的数据集成平台。

IBM数据集成解决方案正是为此而生，通过IBM DataStage和IBM Change DataCapture（CDC）两大数据集成方案，将不同来源的数据组合成有意义、有价值的信息，完整的数据集成解决方案可提供各种来源的可信数据。

IBM DataStage：集大成者，释放数据之和的价值

面对新型的数据存储，数据类型及格式以及更大的数据量等多方面的挑战，IBM DataStage大数据集成方案使用高性能并行框架集成多个系统中的数据，并且支持扩展的元数据管理和企业连通性，五行并下助力大数据集成：

高性能可扩展的ETL平台：利用多处理器硬件平台的并行处理功能，实时、集中、批量式地对海量数据进行高性能处理，帮助企业管理不断增长的数据量以及日益缩短的批处理时间窗口。
支持大数据和 Hadoop：支持IBM InfoSphere BigInsights、Cloudera、Apache 和 Hortonworks Hadoop Distributed FileSystem (HDFS)各大大数据平台，并提供 Balanced Optimization forHadoop 功能，来推进数据处理，提高效率。
近乎实时的数据集成：提供面向服务架构 (SOA)，用于将数据集成逻辑发布为可在企业中复用的共享服务。同时支持事务处理的高速、高可靠性要求，以及批处理的大批量数据要求。
工作负载和业务规则管理：优化硬件利用率，并划分关键业务型任务的优先级，支持策略驱动的系统资源控制，以及不同类别工作负载的优先级划分。
易于使用：简化管理和最大化开发资源，并提供操作智能功能、元数据和元数据导入的智能管理以及并行调试功能，帮助提升构建、部署、更新和管理数据集成基础架构的速度、灵活性和有效性。

（IBM DataStage ETL系统架构）

国内某知名汽车品牌借助以DataStage为核心打造的数据集成平台，实现了数据交换，处理流转，质量提升，清洗转换等需求，借助企业级的DataStage ETL平台，很好的集成了上海通用汽车公司现有的异构数据源，方便的从SAPR3，Oracle，DB2，文本文件等数据源的抽取和加载，通过ETL的扩展性，数据处理的性能和吞吐量都得到了明显提高。

（IBM解决方案架构图）

IBM CDC：实时数据复制，助力性能优调数据

IBM CDC能够近乎实时地复制异构数据，以支持数据迁移、应用程序整合、数据同步、动态仓储、主数据管理 (MDM)、业务分析和数据质量流程。该低延迟软件现在是 IBM InfoSphereData Replication 的组成部分。它支持企业数据量，同时维护交易的完整性和一致性。

灵活部署：CDC可采用单向，双向，并行，级联，集中，分发等多种拓扑结构及其组合的部署方式进行复制。
大数据量，低延迟的数据复制：捕获实时变化数据，极大地缩短了数据集成窗口！
低影响数据捕获：基于日志，仅读取日志，不访问生产数据库，无需改变当前IT架构，对生产系统的影响最小。
全面的异构数据平台支持：从传统数据库到大数据平台，提供最广泛的支持。
灵活简单的数据交付：提供集配置、管理和监控于一体的图形化界面，管理方便，易于操作。

（IBM CDC产品架构）

国内某知名证券公司首创了一款为客户经理在合适的时间提供合适的服务的产品，需要大量的数据作为支撑，但信息获取主要有几方面的难度：异构平台，数据量巨大，数据时效性要求高，安全性要求高等。借助IBM CDC，这些问题得到迎刃而解，帮助其实时在交易系统中捕获最新数据，最大限度降低了对生产系统的资源征用，有效解决了异构平台的信息传输问题。