◆◆0

GetInsight组件技术及功能（三）：分布式NoSQL数据库和文件管理系统

yuyuxi 2020-09-08 大数据, 大数据应用, 解决方案 1,565 views

GetInsight是慧都自主研发、应用最灵活的大数据平台。能够帮助您随时找到您想要的数据，使数据得到安全、稳定和高效的管理与应用。GetInsight是企业大数据解决方案的重要组成部分，除了提供完整的大数据功能组件，我们还提供组件自定义搭配，为企业选择满足方案需要的大数据功能组件，使您的大数据解决方案成本降到最低，从而高品质的解决您的大数据需求问题。

了解什么是GetInsight，请点击这里查看GetInsight的基础介绍>>

本文主要跟大家介绍GetInsight的分布式NoSQL数据库和分布式文件管理系统。

分布式NoSQL数据库

分布式NoSQL数据库是一个分布式的、面向列的非关系型数据库。它弥补了数据仓库系统的不足，提供近实时的响应速度，支持实时查询。它对表的管理是面向列的，支持列独立检索，适合海量数据的随机访问。它的表每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列，并且其中空列（null）并不占用存储空间。它自动生成时间戳，每个单元中的数据可以有多个版本，默认情况下版本号是单元格插入时的时间戳。最后，与其他非关系型数据库不同的是，它提供一个中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问它。

GetInsight分布式NoSQL数据库的特性

分布式数据库具有如下特性：

每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列。
空列（null）并不占用存储空间，表可以设计的非常稀疏。
面向列（族）的存储和权限控制，列（族）独立检索，适合海量数据的随机访问。
每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳。
数据类型只有字符串，没有其他类型。
支持Update以及Delete操作。
近实时的响应速度，支持实时查询。
自动生成时间戳。

GetInsight分布式NoSQL数据库的应用场景 - 爬虫后端数据库

搜索是一个定位用户所关心的信息的行为：例如，搜索一本书的页码，其中含有用户想读的主题；或者网页，其中含有用户想找的信息。搜索含有特定词语的文档，需要查找索引，该索引提供了特定词语和包含该词语的所有文档的映射。为了能够搜索，首先必须建立索引。Google和其他搜索引擎正是这么做的。他们的文档库是整个互联网；搜索的特定词语就是搜索框里敲入的任何东西。

分布式数据库，为这种文档库提供存储，它提供行级访问，所以爬虫可以插入和更新单个文档。搜索索引可以通过MapReduce计算高效生成。如果结果是单个文档，可以直接从数据库取出。

总体来说，数据流程分为下面几个步骤：

爬虫持续不断地抓取新页面，这些页面每页一行地存储到数据库里。
数据库根据主键自动生成索引，为网络搜索应用做准备。
用户发起网络搜索请求。
网络搜索应用查询建立好的索引，或者直接从数据库直接得到信息。
搜索结果提交给用户。

分布式文件管理系统

分布式文件管理系统，主要用于存储和管理文件。它能存存储大容量数据集，且集成硬盘能提供更快的硬盘读取时间。它的构建思路是：一次写入，多次读取；更多用于批量处理，重点是数据访问的高吞吐量，且不需要配置昂贵可靠的高端硬件产品。它提供了高可靠性的HA模式，在任意节点失效时提供完美的监控机制以及完整的备份恢复机制，即当部分节点故障时，它能在不被用户察觉的情况下正常运行。