Loading
0

Cloudera资讯|您的机器学习模型是否错误?

设备故障分析及预测方案

谨防英国和欧盟金融服务业遭受双重冲击

除了对世界各地的每个人产生真正的负面影响外,COVID-19大流行还以前所未有的规模推动了业务中断和关闭。庞大的政府刺激计划导致财政赤字激增,监管机构正在放松对银行的资本限制,而中央银行则通过一系列降息和其他刺激措施来支持经济稳定。

Cloudera资讯|您的机器学习模型是否错误?

尽管所有行业都受到影响,但零售,旅游和小型企业部门可能受到的打击最大。金融服务业近期面临的主要挑战将是信贷损失激增,这种情况可能持续到2023年。幸运的是,尽管有一些机构必须解决可能的资本缺口,但大多数银行系统似乎都具备足够的资本来吸收信贷损失的这一峰值。

例如,麦肯锡(McKinsey)估算了两种经济情况下的美国信用卡损失:

  • A1)包含的病毒:到2020年底,GDP可以恢复到危机前的水平。
  • A3)复苏乏力:到2023年第一季度末,GDP将会完全恢复。

他们估计,在Muted Recovery情况下,损失很容易增加三倍。

英国和欧盟的双重冲击波

  • 第一次冲击波– COVID-19:COVID-19是一场全球性大流行,已经使世界上大多数经济体陷入停顿。它几乎破坏了我们生活的各个方面,无论是个人还是职业。从1918年至1920年西班牙流感爆发以来,COVID-19的蔓延效应既具有医学上的意义,也具有经济上的意义。这种大流行的持续时间尚未知道,因为社会和全球未来的可能状况经济。一旦控制了大流行,“新常态”将是讨论和分析的关键主题。
  • 二次冲击波-英国脱欧:对于英国和欧盟,2021年极有可能导致第二波破坏和不确定性浪潮。这将由英国退出欧盟(英国退欧)推动。对于这两个实体而言,第二波破坏浪潮都不会在更糟的时候出现,这可能刚从COVID-19危机中恢复

孤立地讲,英国脱欧将是一个重大破坏性事件,但是当这与COVID-19危机结合在一起时,我们就会遇到经典的双重冲击波。这种增加的复杂性至少可能扩展了英国和欧盟必须应对的高水平的经济不确定性,而世界其他地区将更加专注于从COVID-19大流行中复苏。

在这种情况下,人们会关注以下问题:机器学习(ML)模型的准确性,英国和欧盟相对于世界其他地区的复苏将有何不同以及金融机构应采取什么措施来解决这些问题。

当今生产中的许多ML模型都是使用大量数据和深入的历史数据进行估算的。重新估计现有模型需要一段时间,以适应新的现实以及“新常态”的未知情况。全球范围内此类并发症和异常的最新例子是在2008年金融危机期间对风险和预测模型的影响。

当前情况下的一个关键考虑因素是这是一次“结构性变化”还是百年一次的“尾巴风险事件”。 如果将COVID-19大流行视为一次性的“尾巴风险”事件,那么当世界复苏时,全球经济,市场和企业将在与COVID-19之前的危机相似的环境中运作。在这种情况下,面临的挑战是避免模型因一生中一次发生的COVID-19事件而产生偏差。

另一方面,“结构性变化”表示大流行减少的情况,整个世界都陷入了与COVID-19之前的世界根本不同的“新常态”环境。这种“新常态”环境要求机构利用扩展或替代数据开发全新的机器学习模型,以提供足够的数据来捕获这种不断变化的新环境。

在这种情况下,金融机构应该做什么?

金融机构有多种选择,可以探索以应对这些挑战。接下来将介绍一些基本知识,但也要重点关注机构在实施一项战略方面的长远机会,该战略可以使一系列扩展的能力帮助应对下一次危机。

  • 修改现有模型:这将是所有数据科学团队的起点,范围可以从使用最新的数据元素修改当前模型,还可以创建基于场景的预测,以针对各种级别的模型偏差进行调整。 可以使用多种技术,包括贝叶斯方法将专家判断捕获到模型中。
  • 压力测试:压力测试为机构提供了机会,使他们可以更清楚地了解其隐患。对于未知的模型误差,尤其如此。首席风险官应该从战略角度考虑将压力测试嵌入所有业务领域,并将其严格性从一些静态方案提高到运行数百个动态压力测试方案的自动化系统。将其扩展到说明性分析框架将最像是下一代压力测试平台的一项新增强功能。
  • ML的工业化:这是投资构建支持整个ML生命周期的平台以实现ML工业化的理想时机。这超出了模型开发工作流程的范围,并包含了整个企业范围的ML Operations层。许多机构已经在开发这类功能。

图2是Cloudera机器学习– CML的高级工作流图示。在业界第一个称为Cloudera数据平台(CDP)的企业数据云平台上可以使用此功能。CDP在混合,多云和本地支持的环境中提供一致的模型管理,安全性和治理,使我们的客户能够全面了解其ML模型的企业视图。

在这种动荡的时期,并加快采用机器学习驱动的解决方案来支持机构业务的各个方面,这种对技术能力和专家人员的投资将带来好处。这种类型的环境将使金融服务机构能够在整个企业中构建,验证,生产,管理和监视其所有模型。

Cloudera机器学习– CML的高级工作流图示

  • 规范分析:现有ML模型的补充方法包括在决策过程中采用由仿真功能驱动的规范分析。基于代理的建模(ABM)是一种新的仿真方法,尤其是在当前的危机期间,已开始在金融服务行业中采用。 ABM模型是一种自下而上的模拟方法,用于使用异构代理对复杂的自适应系统进行建模。代理可以是个人,产品,机构,市场或经济体。

尽管根据历史数据对座席行为和决策点进行了校准,但AML方法可以支持预测成千上万个不依赖于历史数据限制的未来方案(例如ML)。这使决策者可以评估各种冲击,反馈效果,替代业务策略和法规变更的影响。这种整体观点为决策者提供了对潜在的未来结果以及驱动每个结果的因素的更全面的了解。这也是创建高度自动化的动态模型压力测试环境的高效方法。

在当前环境下,ABM是互补的关键工具,可帮助企业评估在给定未来各种“新常态”结果的情况下如何最好地评估最佳战略。考虑到COVID-19和英国脱欧的双重冲击波,这对英国和欧盟金融服务业而言更为重要。

Cloudera试用和报价

关于Cloudera

在 Cloudera,我们相信数据可以使今天的不可能,在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下,Cloudera推动了全球最大型企业的数字化转型历程。

慧都大数据专业团队为企业提供Cloudera大数据平台搭建,免费业务咨询,定制开发等完整服务,快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681,我们有专业的大数据团队,为您提供免费大数据相关业务咨询!