避免在数据仓库和BI项目上出现这些错误：第2部分

在本系列的第1部分中，我们描述了数据仓库（DW）和商业智能（BI）项目如何成为许多组织的高度优先事项。项目发起人寻求在整个企业中授权更多更好的数据驱动决策和行动； 他们打算扩展其用于BI，分析和数据发现的用户基础，以便用户做出明智的决策。

避免的这一系列错误集中在帮助组织回避DW项目中太常见的质量问题，此处提供的提示将有助于确保DW团队计划和实施新功能时的满意度。

在DW / BI项目要求和技术设计方面的审查不足

左移质量保证是DW开发的一种方法，其中质量保证在生命周期中尽早而频繁地执行-在总项目计划中通常位置的左边。 “左移”是指动态数据质量验证和静态测试：进行检查，检查以及单元和集成测试。但是，许多DW项目尚未开始采用这一潜在的重要过程。

在项目生命周期中将验证过程向左移动是一种敏捷实践，它为与设计和开发活动（或与之并行）的验证提供了一种方法。也就是说，开发团队和质量检查团队协作来计划，管理和执行测试，以加速向企业和开发人员反馈问题。

在项目生命周期的早期阶段执行质量保证任务时，DW架构师，业务和数据分析师以及ETL和BI报表程序员将承担“测试”角色以发现问题。如果尽早实施，则专注于业务规则和安全性的验证-甚至是验收测试-可以为项目质量和成功带来切实的好处。在发布周期结束时花费数周或数月的时间来查找和修复问题效率很低。IBM的一项研究报告说：“与发布到生产后相比，早期修复缺陷的成本要低100倍。” 仅凭这一计算，就可以使大多数团队落后于左移测试。

左移测试的另一个目标是修复将来甚至在生产中可能出现的问题。因此，当组织采用左移策略时，他们可以在系统上测试，分析进度并通过判断，这比一次完成要好得多。

忽略确定可验证数据转换和BI报告的最佳实践测试过程

通过运行SQL脚本，然后将结果收集在电子表格中以进行进一步分析，可以对许多（也许大多数）DW项目进行大多数测试。

ETL测试的这种方法可能很慢且容易出错。在没有专用的过程支持工具来设计和管理那些测试的情况下，手动执行DW测试可能会在短期和长期内阻碍测试自动化。

重复测试对于确保高水平的ETL数据质量至关重要。测试的次数越多，在上线之前就会发现更多的错误，这对于商业智能项目至关重要。当用户不信任数据时，将无法采用BI或分析解决方案。实施高级ETL测试流程将支持频繁的回归和烟雾测试。

实施用于ETL测试的最先进的流程和工具的决定取决于可支持满足高级测试要求的支出的预算。内部构建和维护的测试工具可能比根本没有测试工具要好。许多ETL工具提供商都提供直接针对ETL工具的测试解决方案（例如，Informatica的数据验证选件— DVO）。

许多著名的测试过程包括：

• 源到目标数据测试验证：记录计数，重复数据检查，数据转换测试，回归测试，冒烟测试
• 负载测试过程：实际模拟适当数量用户的测试，以验证应用程序基础结构的性能，可靠性和可伸缩性

缺乏DW测试技能的第三方和内部测试员

削减DW项目成本的冲动常常很强烈，尤其是在项目后期。一个常见的错误是将许多测试职责委派给具有有限业务和数据测试技能的资源。经常期望DW项目负责人和其他动手测试人员展示设计，规划和执行数据库和数据仓库测试用例的丰富经验。

近年来，DW项目经历了一种趋势，即业务分析师，ETL开发人员，外包测试人员，甚至业务用户，都在计划和执行许多质量检查流程。这样做可能会有风险。以下是DW测试经常需要的技能：

• 对业务，DW技术要求，业务流程和业务术语的深入了解
• 制定针对数据仓库和企业业务的策略，测试计划和测试用例的能力
• 将代码部署到数据库的技巧
• 对ETL会话和工作流进行故障排除的技能
• 深入了解DW和数据库概念
• SQL查询和脚本编写的高级技能

数据仓库项目失败的原因有很多：数据体系结构差，数据定义不一致，缺少组合来自各种数据源的数据的功能，数据值缺失或不正确，数据字段使用不一致，查询性能不可接受等。

当训练有素，经验丰富的测试人员从开发的早期阶段到项目完成提供持续的支持时，可以减少最关键的项目风险和失败。

关于慧都数仓建模大师

慧都数仓建模大师能够快速、高效地帮助客户搭建数据仓库供企业决策分析之用。满足数据需求效率、数据质量、扩展性、面向主题等特点。基于企业的业务目标，进行数据理解、数据准备、数据建模，最后进行评价和部署，真正实现数据驱动业务决策。更多详情，请联系我们。

慧都 BI 提供Qlik的产品和技术服务，更有企业级BI业务分析解决方案，我们拥有包括Tableau、Power BI和 IBM Cognos全球领先的BI产品，并提供相关解决方案，让数据创造无限价值。