大数据有关的所有基础知识

如今，各种规模的组织都从其运营的各个方面保存着大量数据。 公司使用其系统中积累的大数据来改善运营，提供更好的客户服务，根据特定的客户偏好创建个性化的营销活动，并最终提高盈利能力。充分利用大数据的企业具有超越其他企业的潜力。大数据带来了很多好处，因此，让我们深入浅出并了解该技术的所有基础知识。

什么是大数据？

大数据代表了以指数速度增长的大量多样的信息。不幸的是，大数据是如此之大，以至于传统的数据管理工具都无法存储或有效地对其进行处理。组织利用数据的方式比数据量更重要。可以对大数据进行分析，以获取有助于制定更好决策和战略业务举措的见解。人类每天产生2千亿的数据。仅纽约证券交易所每天就创建约1 TB的新交易数据。社交媒体平台也是推动数据增长的重要因素。此外，航空公司还产生许多PB的数据。在2000年代初期，行业分析师Doug Laney列出了三个V，它们定义了大数据的特征。

• 数量：业务组织中的数据流入量成倍增长。商业交易，物联网设备，社交媒体，工业设备，视频等各种来源的数据都是造成这一原因的原因。由于无法将其存储在物理空间中，因此存储问题在早期就很重要。但是，由于采用了诸如数据湖和Hadoop之类的新兴技术 ，负担已大大减轻。
• 速度：除了指数级的数据流入量外，数据速度也很重要。数据集处于困境，需要及时处理。RFID标签，传感器和智能电表推动了对实时处理这些数据洪流的需求。
• 多样性：不能保证我们收集的数据一定是相同的或属于相似的类别。数据有各种格式，例如数字数据，文本文档，图像，视频，电子邮件，音频，财务交易等。

大数据的历史 

在大数据的第一道 被认为早在1663，当约翰·格朗特处理铺天盖地的信息量，而他所研究的鼠疫，这是当时困扰欧洲。Graunt是有史以来第一个使用统计数据分析的人。后来，在1800年代初，统计领域扩展到包括收集和分析数据。

1880年，世界首次看到数据不堪重负的问题。美国人口普查局宣布，他们估计要花8年的时间来处理和处理当年人口普查计划期间收集的数据。1881年，来自局的一位名叫赫尔曼·霍勒里斯（Herman Hollerith）的人发明了霍勒里斯制表机，从而减少了计算工作。

在整个20世纪，数据以惊人的速度发展，大数据成为发展的核心。那时还创建了用于磁性存储信息和扫描消息中的图案的机器以及计算机。1965年，美国政府建立了第一个数据中心，目的是存储数百万个指纹集和纳税申报表。 

大数据类型

数据以不同的形式出现。可以说，这是它的三个主要类别。

• 结构化数据

可以以固定格式存储，访问和处理的数据称为“结构化数据”。由于此数据采用类似的格式，因此企业可以通过执行分析来获得最大的收益。还发明了各种先进技术来从结构化数据中提取数据驱动的决策。但是，由于结构化数据的创建已经达到Zettabytes标记，因此世界正朝着这样一个程度发展。

• 非结构化数据

任何以未知形式或结构出现的数据都属于非结构化数据。处理非结构化数据并对其进行分析以获取数据驱动的答案是一项艰巨的任务，因为它们来自不同类别，将它们放在一起只会使情况变得更糟。包含简单文本文件，图像，视频等的组合的异构数据源是非结构化数据的示例。

• 半结构化数据

半结构化数据中同时具有结构化和非结构化数据。我们可以看到半结构化数据是形式化的结构，但实际上它不是在关系DBMS中用表定义来定义的。Web应用程序数据是半结构化数据的示例。它具有非结构化数据，例如日志文件，事务历史记录文件等。OLTP系统旨在与结构化数据一起工作，其中数据存储在关系中。

大数据的应用

商业组织正在利用数据来发挥其最大潜力。自从技术接管大数据分析以来，业务决策主要基于预测结果。此外，大数据还有助于高端的个性化客户体验。下面列出了大数据的一些重要业务应用程序。

• 产品开发-公司利用大数据来预测客户需求。他们建立了预测模型，以了解客户的喜好并提供相关材料。
• 日志分析-商业和开源日志分析提供了收集，处理和分析大量日志数据的能力，而不必将数据转储到关系数据库中并通过SQL查询检索。
• 安全合规性-大数据可帮助您识别数据中的模式，这些模式指示欺诈并聚集大量信息，从而使监管报告变得更快。
• 推荐引擎-大数据及其可伸缩性和强大功能，可处理大量非结构化和结构化数据，使公司能够 根据其历史为客户推荐的最佳选择。

关于慧都大数据分析平台

慧都大数据分析平台「GetInsight®」升级发布，将基于企业管理驾驶舱、产品质量分析及预测、设备分析及预测等大数据模型的构建，助力企业由传统运营模式向数字化、智能化的新模式转型升级，抓住数据经济的发展势头，提供管理效能，精准布局未来。了解更多，请联系在线客服。

慧都大数据专业团队为企业提供商业智能大数据平台搭建，免费业务咨询，定制开发等完整服务，快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服，我们有专业的大数据团队，为您提供免费大数据相关业务咨询！