Loading
0

使用Qlik Sense和Amazon SageMaker使机器学习功能民主化

Qlik使用内存引擎和直观界面对商业智能(BI)进行独特处理的方法,使一般商业用户的BI民主化,而他们通常对技术的了解很少甚至没有。但是,多年来,组织只能分析“发生了什么”的指标或KPI(即描述性分析)。分析师报告称,大多数组织的分析成熟度仅限于事后分析。实际上,Gartner报告说:“ 87%的组织具有较低的BI和分析成熟度。” 因此,即使是数据驱动的组织也受到限制。 决策是通过分析历史趋势来做出的,并且容易受到我们的偏见以及我们可以使用多少数据的限制。

在过去的十年中,由于云及其无限的计算能力,利用机器学习(ML)方法的新分析或预测分析学科已变得越来越可访问。ML使我们能够创建预测模型。这些模型在潜在的大型数据集上进行训练,并从人类通常无法识别的模式中学习。这些模型可以反过来为我们提供业务远见。

利用ML功能的组织可以更深入地了解其业务,因此具有竞争优势。Qlik正在为客户提供在我们的平台上使用ML功能的能力,以便业务用户可以对各种关键业务功能执行分析。例如:

  • 优化供应链
  • 改善库存管理
  • 避免失去机会
  • 检测并防止客户流失
  • 管理员工流失

不幸的是,大多数组织没有配备ML。分析报告经常将技能差距列为采用AI / ML的最大挑战。Gartner,Deloitte,McKinsey&Company和其他公司的报告均支持该概念。ML通常需要数据科学家,数据工程师以及类似的稀缺且昂贵的角色。跨团队协作是必要的,并且需要有效地完成经验。我们经常看到的另一个问题是无法为数百甚至数千个业务用户提供ML,因此预测和ML的功能可以帮助推动洞察力和针对业务成果的行动。

为BI普及AI

幸运的是,当前ML的复兴已扩展到ML工具。AutoML等领域的快速发展缓解了技能差距的挑战。AWS和Qlik已通过为我们的客户实现预测分析民主化的共同愿景,合作了这一机会。Qlik是BI的领导者,并且是AWS数据和分析能力合作伙伴。

Qlik通过创建Qlik-SageMaker Connector,迈出了缓解这一技能差距挑战的第一步。它通过桥接Qlik Sense Server和SageMaker Hosting Services与Amazon SageMaker集成,后者是一种托管服务设计,用于驱动和扩展整个ML生命周期。

Qlik的SageMaker连接器

通过连接器,Qlik Sense用户可以通过Qlik的内存引擎从Amazon SageMaker托管模型中获取实时预测。连接器降低了将ML模型集成到预测分析解决方案中通常所需的复杂性和工作量。它消除了建立和管理评分管道的需要。 它还可以为受益于最新数据的用例提供更好的支持。目前,该集成是作为开放源代码连接器提供的,如今已作为“早期访问”技术供客户使用。

前面的路

该连接器是我们共同愿景的第一步,即通过利用Amazon SageMaker Autopilot等AutoML工具使AWS上的AI民主化。AutoML使ML实验过程自动化,并为非ML专家提供了使用ML的机会。结合Amazon SageMaker等服务,机器学习生命周期可以实现大规模自动化,以缩短实现价值的时间。

例如,Amazon SageMaker Autopilot(Autopilot)可以提取表格数据并生成优化的回归和分类模型。 它使数据科学家和数据工程任务自动化,例如数据分析,特征工程,算法探索和超参数调整。 自动驾驶仪用户的工作是识别具有预测潜力的表格数据集,并将其映射到ML问题。

自动驾驶将所需的机器学习技能降低到许多核心BI分析人员所拥有的技能。

Qlik SageMaker解决方案

下面,我们提供了Qlik SageMaker预测解决方案的高级概述,下图说明了核心组件。

将SageMaker模型与Qlik集成

Qlik Sense服务器和至少一个SageMaker模型端点开始,只需部署Qlik-SageMaker连接器,该连接器由以下组件组成:

  • Qlik Rapid API Server:这充当Qlik Engine和SageMaker模型端点之间的桥梁。它包含与Qlik Engine连接以及使用其内存中数据格式进行操作的专业知识。
  • Amazon API Gateway REST API:Qlik Engine通过Amazon API Gateway管理的REST API与模型端点进行通信。该API为SageMaker模型提供了标准化接口。 ML模型可以具有多种接口,具体取决于模型的构建和服务方式。
  • Amazon Lambda Format Transformer:需要Lambda函数来执行数据转换。 Qlik API服务器以标准格式发送请求,该标准格式需要转换为与目标模型兼容的格式。我们建议尽可能使用Autopilot,因为它会自动创建并打包转换逻辑。因此,它使您不必为每个唯一的模型编写自定义代码。
  • 会话存储:Qlik Server需要状态通信。 Amazon DynamoDB用于存储会话信息,以促进有状态的双向通信。

连接器提供了此处记录的各种配置。配置包括微批处理和WebSocket API支持,以促进性能调整。

预测分析解决方案

部署并配置连接器后,您就可以从信息中心访问预测。 下图在Qlik Sense应用程序的上下文中显示了这一点。

下图显示了Qlik Sense以及与Amazon SageMaker一起使用的实时交互式仪表板。在此示例中,业务分析师可以通过修改变量(例如半径和面积)来实时触发SageMaker Endpoint。

此Qlik Sense应用程序是从此SageMaker示例存储库派生的。Partner Engineering Qlik Server上提供了此Qlik Sense应用程序的实时演示。访问Qlik SageMaker乳腺癌应用演示。

结论

Qlik-SageMaker连接器是Qlik借助Qlik Sense使机器学习功能民主化的第一步。我们期待看到您使用这些工具创建的解决方案,以及它将对您的组织产生的影响!

点击获取Qlik


关于Qlik

Qlik的愿景是一个数据素养的世界,每个人都可以使用数据来改善决策并解决他们最具挑战性的问题。只有Qlik提供端到端的实时数据集成和分析解决方案,以帮助组织访问所有数据并将其转化为价值。慧都作为Qlik官方的中国合作伙伴,我们为Qlik的中国用户提供产品授权与实施、定制分析方案、技术培训等服务,旨在让中国企业的每个Qlik用户都能探索出数据的价值,让企业形成分析文化。了解更多信息,请咨询在线客服>>