◆◆0

大数据、数据分析、数据统计、数据挖掘、OLAP的区别

chenjj 2017-02-21 大数据, 行业新闻 3,557 views

在大数据领域里，经常会看到例如数据挖掘、OLAP、数据分析等等的专业词汇。如果仅仅从字面上，我们很难说清楚每个词汇的意义和区别。今天，我们就来通过一些大数据在高校应用的例子，来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。\r\n\r\n \r\n\r\n\r\n\r\n \r\n\r\n一、数据分析\r\n\r\n数据分析是一个大的概念，理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程，都叫数据分析。从数据本身的复杂程度、以及对数据进行处理的复杂度和深度来看，可以把数据分析分为以下4个层次：数据统计，OLAP，数据挖掘，大数据。\r\n\r\n \r\n\r\n\r\n\r\n \r\n\r\n二、数据统计\r\n\r\n数据统计是最基本、最传统的数据分析，自古有之。是指通过统计学方法对数据进行排序、筛选、运算、统计等处理，从而得出一些有意义的结论。\r\n\r\n举例，对全年级学生按照平均成绩从高到低排序，前10%的学生可以获得申请研究生免试资格。\r\n\r\n \r\n\r\n\r\n\r\n \r\n\r\n传统的查询和报表工具是告诉你数据库中有什么(What happened)\r\n\r\n三、OLAP\r\n\r\n联机分析处理(On-Line Analytical Processing，OLAP)是指基于数据仓库的在线多维统计分析。它允许用户在线地从多个维度观察某个度量值，从而为决策提供支持。\r\n\r\n举例，学校招生时要决定今年在江苏的招生指标，不能简单地参照去年的计划，而是要参考多个维度的数据积累。学校要在这些数据的支持下做出合理的决策。\r\n\r\n \r\n\r\n\r\n\r\n \r\n\r\nOLAP更进一步告诉你下一步会怎么样(What next)，如果我采取这样的措施又会怎么样(What if)\r\n\r\n四、数据挖掘\r\n\r\n数据挖掘是指从海量数据中找到人们未知的、可能有用的、隐藏的规则，可以通过关联分析、聚类分析、时序分析等各种算法发现一些无法通过观察图表得出的深层次原因。\r\n\r\n举例，学校发现高等数学等主干课的不及格率有逐年上升的趋势，一般认为是学习不认真所致，但做了很多工作效果并不明县，这时通过数据挖掘……\r\n\r\n \r\n\r\n\r\n\r\n \r\n\r\n针对此可以采取有针对性的管理措施。\r\n\r\n五、大数据\r\n\r\n大数据是指用现有的计算机软硬件设施难以采集、存储、管理、分析和使用的超大规模的数据集。大数据具有规模大、种类杂、快速化、价值密度低等特点(4V特性)。大数据的“大”是一个相对概念，没有具体标准，如果一定要给一个标准，那么10-100TB通常称为大数据的门槛。\r\n\r\n \r\n\r\n\r\n\r\n \r\n\r\n总结\r\n\r\n从数据分析的角度来看，目前绝大多数学校的数据应用产品都还处在数据统计和报表分析的阶段，能够实现有效的OLAP分析与数据挖掘的还很少，而能够达到大数据应用阶段的非常少，至少还没有用过有效的大数据集。\r\n\r\n \r\n\r\n\r\n\r\n \r\n\r\n点评：\r\n\r\n我们不需要纠结所谓的“专业名词”，作为一个数据分析师，我们的目标是帮助业务更好的发展、减少决策的风险、提取重要的信息，所以业务的套路和理解才是我们的立足之本，数据分析毕竟是我们达成某种目标的工具，疗效才是对我们更深层次的验证。\r\n